国产成人精品久久免费动漫-国产成人精品天堂-国产成人精品区在线观看-国产成人精品日本-a级毛片无码免费真人-a级毛片毛片免费观看久潮喷

您的位置:首頁/技術(shù)文章
文章詳情頁

Java多線程文件分片下載實現(xiàn)的示例代碼

瀏覽:78日期:2022-09-04 18:54:27

多線程下載介紹

多線程下載技術(shù)是很常見的一種下載方案,這種方式充分利用了多線程的優(yōu)勢,在同一時間段內(nèi)通過多個線程發(fā)起下載請求,將需要下載的數(shù)據(jù)分割成多個部分,每一個線程只負(fù)責(zé)下載其中一個部分,然后將下載后的數(shù)據(jù)組裝成完整的數(shù)據(jù)文件,這樣便大大加快了下載效率。常見的下載器,迅雷,QQ旋風(fēng)等都采用了這種技術(shù)。

分片下載

所謂分片下載就是要利用多線程的優(yōu)勢,將要下載的文件一塊一塊的分配到各個線程中去下載,這樣就極大的提高了下載速度。

技術(shù)難點

并不能說是什么難點,只能說沒接觸過不知道罷了。

1、如何請求才能拿到數(shù)據(jù)的特定部分,而非全部?

可以在HTTP請求頭中加入Range來標(biāo)識數(shù)據(jù)的請求范圍/區(qū)間,從HTTP/1.1開始可用。

基本用法:

Range: bytes=10-:取第10個字節(jié)及后所有數(shù)據(jù)。

Range: bytes=40-100:取第40個字節(jié)到第100個字節(jié)之間的數(shù)據(jù)。

這樣我們就能拿到特定部分的數(shù)據(jù)了,斷點續(xù)傳也可以用這個來實現(xiàn)。

PS:0為開始點。

2、分片后某線程下載時如何寫出?

思路1:等所有下載完成后進行統(tǒng)一匯總整理然后再一次性寫出。

這簡直是最笨的思路了,如果文件過大全部拉到內(nèi)存中,豈不涼涼。

思路2:下載采用多線程,寫出時采取數(shù)據(jù)前后順序排隊寫出。

也就是說多線程下載,單線程輸出,某種程度解決了內(nèi)存占用問題,不過效率基本不理想。

思路3:要說還是API香,老大哥Java給我們提供了一個類叫做RandomAccessFile。

這個類可以進行隨機文件讀寫,其中有一個seek函數(shù),可以將指針指向任意位置,然后進行讀寫。什么意思呢,舉個栗子:假如我們開了30個線程,首先第一個下載完成的是線程X,它下載的數(shù)據(jù)范圍是4000-9000,那么這時我們調(diào)用seek函數(shù)將指針撥動到4000,然后調(diào)用它的write函數(shù)將byte寫出,這時4000之前都是NULL,4000之后就是我們插入的數(shù)據(jù)。這樣就可以實現(xiàn)多線程下載和本地寫入了。

具體實現(xiàn)

一個分片下載類,我們需要創(chuàng)建多個對象來進行下載。

public class UnitDownloader implements Runnable { private int from; private int to; private File target; private String uri; private int id; public UnitDownloader(int from, int to, File target, String uri, int id) { this.from = from; this.to = to; this.target = target; this.uri = uri; this.id = id; } public int getFrom() { return from; } public int getTo() { return to; } @Override public void run() { //download and save data try { HttpURLConnection connection = (HttpURLConnection) new URL(uri).openConnection(); connection.setRequestProperty('Range', 'bytes=' + from + '-' + to); connection.connect(); int totalSize = connection.getContentLength(); InputStream inputStream = connection.getInputStream(); RandomAccessFile randomAccessFile = new RandomAccessFile(target, 'rw'); randomAccessFile.seek(from); byte[] buffer = new byte[1024 * 1024]; int readCount = inputStream.read(buffer, 0, buffer.length); while (readCount > 0) {totalSize -= readCount;System.out.println('分片:' + this.id + '的剩余:' + totalSize);randomAccessFile.write(buffer, 0, readCount);readCount = inputStream.read(buffer, 0, buffer.length); } inputStream.close(); randomAccessFile.close(); } catch (IOException e) { e.printStackTrace(); } }}

分片下載管理器,主要就是拿到內(nèi)容的總大小,將其分配給每一個UnitDownloader。這里的threadCount函數(shù)可以再考慮優(yōu)化一下。

public class MultipleThreadDownloadManager implements Runnable { private String uri; private File target; public MultipleThreadDownloadManager(String uri, File target) { this.target = target; this.uri = uri; if (target.exists() == false) { try {target.createNewFile(); } catch (IOException e) {e.printStackTrace(); } } } /** * 開始下載 */ public void start() { new Thread(this).start(); } /** * 根據(jù)文件總大小計算線程數(shù)量 * * @param totalSize * @return */ public int threadCount(int totalSize) { if (totalSize < 30 * 2014 * 1024) { return 1; } return 30; } @Override public void run() { //獲取文件總大小 int totalSize = 0; try { HttpURLConnection connection = (HttpURLConnection) new URL(uri).openConnection(); connection.connect(); int contentLength = connection.getContentLength(); totalSize = contentLength; } catch (IOException e) { e.printStackTrace(); } //將文件分片并分開下載 int threadCount = threadCount(totalSize); int perThreadSize = totalSize / threadCount;//每一個線程分到的任務(wù)下載量 int id = 0; int from = 0, to = 0; while (totalSize > 0) { id++; //計算分片 if (totalSize < perThreadSize) {from = 0;to = totalSize; } else {from = totalSize;to = from + perThreadSize; } //開始下載 UnitDownloader downloader = new UnitDownloader(from, to, target, uri, id); new Thread(downloader).start(); } }}

參考文獻

1、https://emacsist.github.io/2015/12/29/http-%E5%8D%8F%E8%AE%AE%E4%B8%AD%E7%9A%84range%E8%AF%B7%E6%B1%82%E5%A4%B4%E4%BE%8B%E5%AD%90/

2、https://blog.csdn.net/lyt_7cs1dn9/article/details/75105266

到此這篇關(guān)于Java多線程文件分片下載實現(xiàn)的示例代碼的文章就介紹到這了,更多相關(guān)Java多線程分片下載內(nèi)容請搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)!

標(biāo)簽: Java
相關(guān)文章:
主站蜘蛛池模板: 悠悠影院欧美日韩国产 | 欧美白人和黑人xxxx猛交视频 | 国产一级一片免费播放 | 国产一区精品在线 | 欧美激情综合亚洲一二区 | 欧美日韩看看2015永久免费 | 日本免费大黄在线观看 | 久久一区二区精品 | 久久久久久久国产a∨ | 国内精品伊人久久 | 国产美女一区二区 | 在线视频一区二区三区在线播放 | 免费福利在线看黄网站 | 97在线视频免费公开观看 | 久久午夜精品视频 | 免费日本在线视频 | 在线观看国产一区二三区 | 99精品久久精品一区二区 | 美女一级ba大片免色野外 | 国产91无套剧情在线播放 | 国产高清在线精品一区二区 | 欧美精品午夜 | 日本不卡一区二区三区在线观看 | 成人国产亚洲欧美成人综合网 | 国产精品特黄一级国产大片 | 国产在线视频欧美亚综合 | 国产美女动态免费视频 | 九九午夜 | 久久国产片| 色一欲一性一乱一区二区三区 | 午夜神马视频 | 亚洲免费网址 | 欧美成人性色区 | 国产在线不卡视频 | 香港三级日本三级三级人妇 | 美女张开腿让人桶 | 亚洲国产成a人v在线观看 | 国产欧美亚洲精品一区 | 欧美丰满大乳大屁股毛片 | www.xxx.国产| 中文字幕三区 |