基于Http的文件断点续传实现
创始人
2024-05-31 22:44:21
0

1:断点续传的介绍
客户端软件断点续传指的是在下载或上传时,将下载或上传任务(一个文件或一个压缩包)人为的划分为几个部分,每一个部分采用一个线程进行上传或下载,如果碰到网络故障,可以从已经上传或下载的部分开始继续上传下载未完成的部分,而没有必要从头开始上传下载。从而达到让用户节省时间,提高速度的目的。

2:断点续传的环境要求
如果是基于http请求与响应实现的断点续传,需要服务器支持"响应一部分"数据的功能;(本案例采用的是tomcat7服务器,而tomcat7服务器是支持这个功能的)

在客户端需要使用RandomAccessFile类对文件任意位置的数据进行随机读写操作;

3:java的RandomAccessFile类介绍
java的API中对RandomAccessFile类的解释如下:

我对RandomAccessFile类的理解是:RandomAccessFile类是java提供的一个可以用于随机读写文件内容的类,我们可以对RandomAccessFile类关联的文件中的任意位置和任意大小的数据进行任意的读写操作;因此要想完成文件的断点续传操作,该类的使用是必不可少的!

4:断点续传的基本实现思路

5:断点续传的代码实现
基础环境搭建:

创建WEB的maven工程;

引入maven的tomcat7插件;

在webapp目录下存放多个文件,以备测试断点续传下载使用;

java客户端代码实现:

public class MyDownLoadClient {
public static String urlpath = “http://127.0.0.1:80/”;
private static int threadCount = 5;

public static void main(String[] args) throws Exception {// 让用户输入要下载的文件名称Scanner sc = new Scanner(System.in);System.out.println("请输入要下载的文件名称:");String file = sc.next();urlpath = urlpath.concat(file);// 获取文件总大小URL url = new URL(urlpath);HttpURLConnection conn = (HttpURLConnection) url.openConnection();conn.setRequestMethod("GET");conn.setConnectTimeout(2000);int responseCode = conn.getResponseCode();if (responseCode == 200) {int contentLength = conn.getContentLength();System.out.println("length" + contentLength);int part = contentLength / threadCount;// 读配置文件ConcurrentHashMap map = new ConcurrentHashMap<>();CountDownLatch count;InputStream in = MyDownLoadClient.class.getClassLoader().getResourceAsStream(file + ".properties");if (in != null) {// 说明该文件不是第一次下载,需要断点续传Properties p = new Properties();p.load(in);in.close();Set keys = p.stringPropertyNames();count = new CountDownLatch(keys.size());for (String key : keys) {String value = p.getProperty(key);String[] arr = value.split(",");long start = Long.parseLong(arr[0]);long end = Long.parseLong(arr[1]);map.put(key,value);new DownloadThread(start, end, key, map, count, file).start();}p.clear();p = null;} else {count = new CountDownLatch(threadCount);// 说明该文件是第一次下载,直接下载即可for (int i = 0; i < threadCount; i++) {long startIndex = i * part; //每个线程起始下载位置long endIndex = (i + 1) * part;//每个线程的结束位置if (i == threadCount - 1) {//最后一个线程的结束位置endIndex = contentLength;}map.put( String.valueOf(i),startIndex+","+endIndex);new DownloadThread(startIndex, endIndex, String.valueOf(i), map, count, file).start();}}// 等待任务完成,删除配置文件count.await();new File(MyDownLoadClient.class.getClassLoader().getResource("").getPath(),file + ".properties").delete();System.out.println("==========================下载任务完成==========================");} else {System.out.println("连接服务器失败...请检查服务器是否畅通及资源路径是否正确...");}
}

}
下载任务的线程代码实现:

class DownloadThread extends Thread {
private long startIndex;
private long endIndex;
private String threadId;
private ConcurrentHashMap map;
private CountDownLatch count;
//private long subTotal = 0;
private String fileName;

public DownloadThread(long startIndex, long endIndex, String threadId, ConcurrentHashMap map, CountDownLatch count, String fileName) {this.startIndex = startIndex;this.endIndex = endIndex;this.threadId = threadId;this.map = map;this.count = count;this.fileName = fileName;
}@Override
public void run() {try {URL url = new URL(MyDownLoadClient.urlpath);HttpURLConnection conn = (HttpURLConnection) url.openConnection();conn.setRequestMethod("GET");conn.setConnectTimeout(5000);//固定写法,表示向服务器请求部分资源conn.setRequestProperty("Range", "bytes=" + startIndex + "-" + endIndex);int responseCode = conn.getResponseCode();//状态码206表示请求部分资源成功if (responseCode == 206) {RandomAccessFile rafAccessFile = new RandomAccessFile(fileName, "rw");rafAccessFile.seek(startIndex);InputStream is = conn.getInputStream();int len = -1;byte[] buffer = new byte[1024];Random r = new Random();while ((len = is.read(buffer)) != -1) {FileOutputStream fout = new FileOutputStream(this.getClass().getClassLoader().getResource("").getPath()+""+fileName + ".properties");try {//模拟意外情况导致下载中断的代码/*if (r.nextInt(2) == 0) {int i = 1 / 0;}*/rafAccessFile.write(buffer, 0, len);startIndex += len;map.put(threadId, startIndex + "," + endIndex);} catch (Exception e) {e.printStackTrace();throw new RuntimeException();} finally {Set> entries = map.entrySet();for (Map.Entry entry : entries) {fout.write((entry.getKey() + "=" + entry.getValue() + "rn").getBytes());}fout.close();}}rafAccessFile.close();System.out.println("线程" + threadId + "下载完成");System.gc();}count.countDown();} catch (Exception e) {e.printStackTrace();System.gc();}
}

}
6:功能测试

  1. 在web工程中提前准备好要下载的文件;(任意类型,任意文件均可,本项目以三个api举例)

  2. 启动tomcat服务器;(已经设置虚拟目录为 “/” 端口号为 “80”)

  3. 启动java主程序类(MyDownLoadClient),输入要下载的文件名;

  4. 可以通过打开线程任务中模拟意外情况的代码,让下载出现意外,当程序出现意外后,配置文件不会删除,且会记录下所有线程已经完成的下载量,以便于下次执行下载任务的时候,可以在此基础上继续完成下载任务;

  5. 关闭模拟意外的代码,重新执行程序,直到文件顺利下载完成,程序会自动删除对应的配置文件;

7:功能实现总结
断点续传最核心的思想就是利用RandomAccessFile类将一个大文件配合多线程拆分成多个片段进行读写,最终将多个线程读写的结果再合并成1个大文件即可;1:断点续传的介绍
客户端软件断点续传指的是在下载或上传时,将下载或上传任务(一个文件或一个压缩包)人为的划分为几个部分,每一个部分采用一个线程进行上传或下载,如果碰到网络故障,可以从已经上传或下载的部分开始继续上传下载未完成的部分,而没有必要从头开始上传下载。从而达到让用户节省时间,提高速度的目的。

2:断点续传的环境要求
如果是基于http请求与响应实现的断点续传,需要服务器支持"响应一部分"数据的功能;(本案例采用的是tomcat7服务器,而tomcat7服务器是支持这个功能的)

在客户端需要使用RandomAccessFile类对文件任意位置的数据进行随机读写操作;

3:java的RandomAccessFile类介绍
java的API中对RandomAccessFile类的解释如下:

我对RandomAccessFile类的理解是:RandomAccessFile类是java提供的一个可以用于随机读写文件内容的类,我们可以对RandomAccessFile类关联的文件中的任意位置和任意大小的数据进行任意的读写操作;因此要想完成文件的断点续传操作,该类的使用是必不可少的!

4:断点续传的基本实现思路

5:断点续传的代码实现
基础环境搭建:

创建WEB的maven工程;

引入maven的tomcat7插件;

在webapp目录下存放多个文件,以备测试断点续传下载使用;

java客户端代码实现:

public class MyDownLoadClient {
public static String urlpath = “http://127.0.0.1:80/”;
private static int threadCount = 5;

public static void main(String[] args) throws Exception {// 让用户输入要下载的文件名称Scanner sc = new Scanner(System.in);System.out.println("请输入要下载的文件名称:");String file = sc.next();urlpath = urlpath.concat(file);// 获取文件总大小URL url = new URL(urlpath);HttpURLConnection conn = (HttpURLConnection) url.openConnection();conn.setRequestMethod("GET");conn.setConnectTimeout(2000);int responseCode = conn.getResponseCode();if (responseCode == 200) {int contentLength = conn.getContentLength();System.out.println("length" + contentLength);int part = contentLength / threadCount;// 读配置文件ConcurrentHashMap map = new ConcurrentHashMap<>();CountDownLatch count;InputStream in = MyDownLoadClient.class.getClassLoader().getResourceAsStream(file + ".properties");if (in != null) {// 说明该文件不是第一次下载,需要断点续传Properties p = new Properties();p.load(in);in.close();Set keys = p.stringPropertyNames();count = new CountDownLatch(keys.size());for (String key : keys) {String value = p.getProperty(key);String[] arr = value.split(",");long start = Long.parseLong(arr[0]);long end = Long.parseLong(arr[1]);map.put(key,value);new DownloadThread(start, end, key, map, count, file).start();}p.clear();p = null;} else {count = new CountDownLatch(threadCount);// 说明该文件是第一次下载,直接下载即可for (int i = 0; i < threadCount; i++) {long startIndex = i * part; //每个线程起始下载位置long endIndex = (i + 1) * part;//每个线程的结束位置if (i == threadCount - 1) {//最后一个线程的结束位置endIndex = contentLength;}map.put( String.valueOf(i),startIndex+","+endIndex);new DownloadThread(startIndex, endIndex, String.valueOf(i), map, count, file).start();}}// 等待任务完成,删除配置文件count.await();new File(MyDownLoadClient.class.getClassLoader().getResource("").getPath(),file + ".properties").delete();System.out.println("==========================下载任务完成==========================");} else {System.out.println("连接服务器失败...请检查服务器是否畅通及资源路径是否正确...");}
}

}
下载任务的线程代码实现:

class DownloadThread extends Thread {
private long startIndex;
private long endIndex;
private String threadId;
private ConcurrentHashMap map;
private CountDownLatch count;
//private long subTotal = 0;
private String fileName;

public DownloadThread(long startIndex, long endIndex, String threadId, ConcurrentHashMap map, CountDownLatch count, String fileName) {this.startIndex = startIndex;this.endIndex = endIndex;this.threadId = threadId;this.map = map;this.count = count;this.fileName = fileName;
}@Override
public void run() {try {URL url = new URL(MyDownLoadClient.urlpath);HttpURLConnection conn = (HttpURLConnection) url.openConnection();conn.setRequestMethod("GET");conn.setConnectTimeout(5000);//固定写法,表示向服务器请求部分资源conn.setRequestProperty("Range", "bytes=" + startIndex + "-" + endIndex);int responseCode = conn.getResponseCode();//状态码206表示请求部分资源成功if (responseCode == 206) {RandomAccessFile rafAccessFile = new RandomAccessFile(fileName, "rw");rafAccessFile.seek(startIndex);InputStream is = conn.getInputStream();int len = -1;byte[] buffer = new byte[1024];Random r = new Random();while ((len = is.read(buffer)) != -1) {FileOutputStream fout = new FileOutputStream(this.getClass().getClassLoader().getResource("").getPath()+""+fileName + ".properties");try {//模拟意外情况导致下载中断的代码/*if (r.nextInt(2) == 0) {int i = 1 / 0;}*/rafAccessFile.write(buffer, 0, len);startIndex += len;map.put(threadId, startIndex + "," + endIndex);} catch (Exception e) {e.printStackTrace();throw new RuntimeException();} finally {Set> entries = map.entrySet();for (Map.Entry entry : entries) {fout.write((entry.getKey() + "=" + entry.getValue() + "rn").getBytes());}fout.close();}}rafAccessFile.close();System.out.println("线程" + threadId + "下载完成");System.gc();}count.countDown();} catch (Exception e) {e.printStackTrace();System.gc();}
}

}
6:功能测试

  1. 在web工程中提前准备好要下载的文件;(任意类型,任意文件均可,本项目以三个api举例)

  2. 启动tomcat服务器;(已经设置虚拟目录为 “/” 端口号为 “80”)

  3. 启动java主程序类(MyDownLoadClient),输入要下载的文件名;

  4. 可以通过打开线程任务中模拟意外情况的代码,让下载出现意外,当程序出现意外后,配置文件不会删除,且会记录下所有线程已经完成的下载量,以便于下次执行下载任务的时候,可以在此基础上继续完成下载任务;

  5. 关闭模拟意外的代码,重新执行程序,直到文件顺利下载完成,程序会自动删除对应的配置文件;

7:功能实现总结
断点续传最核心的思想就是利用RandomAccessFile类将一个大文件配合多线程拆分成多个片段进行读写,最终将多个线程读写的结果再合并成1个大文件即可;

相关内容

热门资讯

安卓系统账号怎么改,轻松实现账... 你是不是也和我一样,在使用安卓手机的时候,突然觉得账号名字太老土了,想要来个焕然一新的改变呢?别急,...
离线语音系统安卓版下载,随时随... 你有没有想过,在手机上也能实现语音助手的功能,而且完全不需要联网?没错,就是那种离线语音系统,听起来...
华为os系统是基于安卓系统吗,... 你有没有想过,华为的手机里那个神秘的OS系统,它是不是就是安卓系统呢?别急,今天就来揭开这个谜底,让...
各品牌安卓系统多大,探索各大品... 你有没有想过,那些我们每天离不开的安卓手机,它们背后的系统到底有多大呢?这可不是一个小问题哦,因为系...
不是安卓系统电视机,探索非安卓... 你有没有想过,家里的电视是不是安卓系统呢?现在市面上,安卓系统电视机可是越来越流行了。但是,你知道吗...
谷歌安卓系统开源免费用,免费体... 你知道吗?在科技的世界里,有时候最让人惊喜的就是那些免费又好用的东西。今天,就让我来给你揭秘一个超级...
安卓电脑版怎么装系统,轻松实现... 你有没有想过,你的安卓电脑版突然间卡得像蜗牛一样,慢得让人抓狂?别急,今天就来教你怎么给它来个焕然一...
安卓系统有几种语音,揭秘多样化... 你知道吗?安卓系统里的语音功能可真是让人爱不释手呢!想象你只需要动动嘴,就能完成各种操作,是不是觉得...
扫码系统推荐安卓游戏,畅享指尖... 你有没有发现,最近手机里的游戏推荐越来越贴心了?没错,就是那个神奇的扫码系统!今天,就让我带你一探究...
手机系统安卓做的最好,探索最佳... 你有没有发现,现在手机市场上,安卓系统简直是要风得风,要雨得雨,简直是手机系统中的佼佼者!不信?那就...
安卓系统越拉越难用,越拉越难用... 你有没有发现,最近安卓系统越来越难用了?是不是每次打开手机,都感觉卡得要命,各种广告弹窗让人头疼不已...
卓安系统创始人,引领科技浪潮的... 你有没有想过,在这个信息爆炸的时代,谁才是那个站在风口浪尖,引领科技潮流的先锋?今天,我要带你认识一...
安卓10系统经常断网,安卓10... 最近是不是你也遇到了安卓10系统经常断网的问题?这可真是让人头疼啊!手机断网,就像失去了方向感的指南...
开发安卓系统用什么,从工具到实... 你有没有想过,为什么你的手机里装了那么多应用,却还是觉得不够用呢?其实,这一切都离不开一个强大的操作...
安卓系统如何双开抖音,安卓系统... 如何在安卓系统上双开抖音:让你的娱乐生活更加丰富多彩在数字化时代,手机已经成为我们生活中不可或缺的一...
安卓8.0系统内测地址,探索系... 你有没有听说最近安卓8.0系统内测的消息?这可是科技圈的大事啊!作为一个紧跟潮流的数码爱好者,我可是...
安卓系统可以账号同步吗,安卓系... 你有没有想过,你的安卓手机里的各种账户信息,比如微信、QQ、支付宝,能不能像变魔术一样,一键同步到另...
安卓系统的平板怎么下载,畅享应... 你有没有想过,拥有一款安卓系统的平板电脑,那感觉简直就像拥有了整个世界?想象随时随地都能畅游网络海洋...
win平板上装安卓系统咋样,开... 亲爱的读者们,你是否曾想过在Windows平板上体验安卓系统的魅力?想象那双熟悉的Windows界面...
给安卓车机写系统,安卓车机系统... 你有没有想过,你的安卓车机系统其实可以焕然一新?想象当你驾驶着爱车,车机界面流畅得像丝滑的巧克力,功...