国产成人精品久久免费动漫-国产成人精品天堂-国产成人精品区在线观看-国产成人精品日本-a级毛片无码免费真人-a级毛片毛片免费观看久潮喷

您的位置:首頁技術(shù)文章
文章詳情頁

Java中批處理框架spring batch詳細(xì)介紹

瀏覽:3日期:2022-08-28 16:51:31
spring batch簡介

spring batch是spring提供的一個(gè)數(shù)據(jù)處理框架。企業(yè)域中的許多應(yīng)用程序需要批量處理才能在關(guān)鍵任務(wù)環(huán)境中執(zhí)行業(yè)務(wù)操作。 這些業(yè)務(wù)運(yùn)營包括:

無需用戶交互即可最有效地處理大量信息的自動(dòng)化,復(fù)雜處理。 這些操作通常包括基于時(shí)間的事件(例如月末計(jì)算,通知或通信)。 在非常大的數(shù)據(jù)集中重復(fù)處理復(fù)雜業(yè)務(wù)規(guī)則的定期應(yīng)用(例如,保險(xiǎn)利益確定或費(fèi)率調(diào)整)。 集成從內(nèi)部和外部系統(tǒng)接收的信息,這些信息通常需要以事務(wù)方式格式化,驗(yàn)證和處理到記錄系統(tǒng)中。 批處理用于每天為企業(yè)處理數(shù)十億的交易。

Spring Batch是一個(gè)輕量級,全面的批處理框架,旨在開發(fā)對企業(yè)系統(tǒng)日常運(yùn)營至關(guān)重要的強(qiáng)大批處理應(yīng)用程序。 Spring Batch構(gòu)建了人們期望的Spring Framework特性(生產(chǎn)力,基于POJO的開發(fā)方法和一般易用性),同時(shí)使開發(fā)人員可以在必要時(shí)輕松訪問和利用更高級的企業(yè)服務(wù)。 Spring Batch不是一個(gè)schuedling的框架。

Spring Batch提供了可重用的功能,這些功能對于處理大量的數(shù)據(jù)至關(guān)重要,包括記錄/跟蹤,事務(wù)管理,作業(yè)處理統(tǒng)計(jì),作業(yè)重啟,跳過和資源管理。 它還提供更高級的技術(shù)服務(wù)和功能,通過優(yōu)化和分區(qū)技術(shù)實(shí)現(xiàn)極高容量和高性能的批處理作業(yè)。 Spring Batch可用于兩種簡單的用例(例如將文件讀入數(shù)據(jù)庫或運(yùn)行存儲(chǔ)過程)以及復(fù)雜的大量用例(例如在數(shù)據(jù)庫之間移動(dòng)大量數(shù)據(jù),轉(zhuǎn)換它等等) 上)。 大批量批處理作業(yè)可以高度可擴(kuò)展的方式利用該框架來處理大量信息。

Spring Batch架構(gòu)介紹

一個(gè)典型的批處理應(yīng)用程序大致如下:

從數(shù)據(jù)庫,文件或隊(duì)列中讀取大量記錄。以某種方式處理數(shù)據(jù)。以修改之后的形式寫回?cái)?shù)據(jù)。

其對應(yīng)的示意圖如下:

Java中批處理框架spring batch詳細(xì)介紹

spring batch的一個(gè)總體的架構(gòu)如下:

Java中批處理框架spring batch詳細(xì)介紹

在spring batch中一個(gè)job可以定義很多的步驟step,在每一個(gè)step里面可以定義其專屬的ItemReader用于讀取數(shù)據(jù),ItemProcesseor用于處理數(shù)據(jù),ItemWriter用于寫數(shù)據(jù),而每一個(gè)定義的job則都在JobRepository里面,我們可以通過JobLauncher來啟動(dòng)某一個(gè)job。

Spring Batch核心概念介紹

下面是一些概念是Spring batch框架中的核心概念。

什么是Job

Job和Step是spring batch執(zhí)行批處理任務(wù)最為核心的兩個(gè)概念。

其中Job是一個(gè)封裝整個(gè)批處理過程的一個(gè)概念。Job在spring batch的體系當(dāng)中只是一個(gè)最頂層的一個(gè)抽象概念,體現(xiàn)在代碼當(dāng)中則它只是一個(gè)最上層的接口,其代碼如下:

/** * Batch domain object representing a job. Job is an explicit abstraction * representing the configuration of a job specified by a developer. It should * be noted that restart policy is applied to the job as a whole and not to a * step. */public interface Job { String getName(); boolean isRestartable(); void execute(JobExecution execution); JobParametersIncrementer getJobParametersIncrementer(); JobParametersValidator getJobParametersValidator(); }

在Job這個(gè)接口當(dāng)中定義了五個(gè)方法,它的實(shí)現(xiàn)類主要有兩種類型的job,一個(gè)是simplejob,另一個(gè)是flowjob。在spring batch當(dāng)中,job是最頂層的抽象,除job之外我們還有JobInstance以及JobExecution這兩個(gè)更加底層的抽象。

一個(gè)job是我們運(yùn)行的基本單位,它內(nèi)部由step組成。job本質(zhì)上可以看成step的一個(gè)容器。一個(gè)job可以按照指定的邏輯順序組合step,并提供了我們給所有step設(shè)置相同屬性的方法,例如一些事件監(jiān)聽,跳過策略。

Spring Batch以SimpleJob類的形式提供了Job接口的默認(rèn)簡單實(shí)現(xiàn),它在Job之上創(chuàng)建了一些標(biāo)準(zhǔn)功能。一個(gè)使用java config的例子代碼如下:

@Beanpublic Job footballJob() { return this.jobBuilderFactory.get('footballJob') .start(playerLoad()) .next(gameLoad()) .next(playerSummarization()) .end() .build();}

這個(gè)配置的意思是:首先給這個(gè)job起了一個(gè)名字叫footballJob,接著指定了這個(gè)job的三個(gè)step,他們分別由方法,playerLoad,gameLoad, playerSummarization實(shí)現(xiàn)。

什么是JobInstance

我們在上文已經(jīng)提到了JobInstance,他是Job的更加底層的一個(gè)抽象,他的定義如下:

public interface JobInstance {/** * Get unique id for this JobInstance. * @return instance id */public long getInstanceId();/** * Get job name. * @return value of ’id’ attribute from <job> */public String getJobName();}

他的方法很簡單,一個(gè)是返回Job的id,另一個(gè)是返回Job的名字。

JobInstance指的是job運(yùn)行當(dāng)中,作業(yè)執(zhí)行過程當(dāng)中的概念。Instance本就是實(shí)例的意思。

比如說現(xiàn)在有一個(gè)批處理的job,它的功能是在一天結(jié)束時(shí)執(zhí)行行一次。我們假定這個(gè)批處理job的名字為’EndOfDay’。在這個(gè)情況下,那么每天就會(huì)有一個(gè)邏輯意義上的JobInstance, 而我們必須記錄job的每次運(yùn)行的情況。

什么是JobParameters

在上文當(dāng)中我們提到了,同一個(gè)job每天運(yùn)行一次的話,那么每天都有一個(gè)jobIntsance,但他們的job定義都是一樣的,那么我們怎么來區(qū)別一個(gè)job的不同jobinstance了。 不妨先做個(gè)猜想,雖然jobinstance的job定義一樣,但是他們有的東西就不一樣,例如運(yùn)行時(shí)間。

spring batch中提供的用來標(biāo)識(shí)一個(gè)jobinstance的東西是:JobParameters。 JobParameters對象包含一組用于啟動(dòng)批處理作業(yè)的參數(shù),它可以在運(yùn)行期間用于識(shí)別或甚至用作參考數(shù)據(jù)。我們假設(shè)的運(yùn)行時(shí)間,就可以作為一個(gè)JobParameters。

例如, 我們前面的’EndOfDay’的job現(xiàn)在已經(jīng)有了兩個(gè)實(shí)例,一個(gè)產(chǎn)生于1月1日,另一個(gè)產(chǎn)生于1月2日,那么我們就可以定義兩個(gè)JobParameter對象:一個(gè)的參數(shù)是01-01, 另一個(gè)的參數(shù)是01-02。 因此,識(shí)別一個(gè)JobInstance的方法可以定義為:

Java中批處理框架spring batch詳細(xì)介紹

因此,我么可以通過Jobparameter來操作正確的JobInstance

什么是JobExecution

JobExecution指的是單次嘗試運(yùn)行一個(gè)我們定義好的Job的代碼層面的概念。 job的一次執(zhí)行可能以失敗也可能成功。只有當(dāng)執(zhí)行成功完成時(shí),給定的與執(zhí)行相對應(yīng)的JobInstance才也被視為完成。

還是以前面描述的EndOfDay的job作為示例,假設(shè)第一次運(yùn)行01-01-2019的JobInstance結(jié)果是失敗。 那么此時(shí)如果使用與第一次運(yùn)行相同的Jobparameter參數(shù)(即01-01-2019)作業(yè)參數(shù)再次運(yùn)行,那么就會(huì)創(chuàng)建一個(gè)對應(yīng)于之前jobInstance的一個(gè)新的JobExecution實(shí)例,JobInstance仍然只有一個(gè)。

JobExecution的接口定義如下:

public interface JobExecution {/** * Get unique id for this JobExecution. * @return execution id */public long getExecutionId();/** * Get job name. * @return value of ’id’ attribute from <job> */public String getJobName(); /** * Get batch status of this execution. * @return batch status value. */public BatchStatus getBatchStatus();/** * Get time execution entered STARTED status. * @return date (time) */public Date getStartTime();/** * Get time execution entered end status: COMPLETED, STOPPED, FAILED * @return date (time) */public Date getEndTime();/** * Get execution exit status. * @return exit status. */public String getExitStatus();/** * Get time execution was created. * @return date (time) */public Date getCreateTime();/** * Get time execution was last updated updated. * @return date (time) */public Date getLastUpdatedTime();/** * Get job parameters for this execution. * @return job parameters */public Properties getJobParameters();}

每一個(gè)方法的注釋已經(jīng)解釋的很清楚,這里不再多做解釋。只提一下BatchStatus,JobExecution當(dāng)中提供了一個(gè)方法getBatchStatus用于獲取一個(gè)job某一次特地執(zhí)行的一個(gè)狀態(tài)。BatchStatus是一個(gè)代表job狀態(tài)的枚舉類,其定義如下:

public enum BatchStatus {STARTING, STARTED, STOPPING, STOPPED, FAILED, COMPLETED, ABANDONED }

這些屬性對于一個(gè)job的執(zhí)行來說是非常關(guān)鍵的信息,并且spring batch會(huì)將他們持久到數(shù)據(jù)庫當(dāng)中. 在使用Spring batch的過程當(dāng)中spring batch會(huì)自動(dòng)創(chuàng)建一些表用于存儲(chǔ)一些job相關(guān)的信息,用于存儲(chǔ)JobExecution的表為batch_job_execution,下面是一個(gè)從數(shù)據(jù)庫當(dāng)中截圖的實(shí)例:

Java中批處理框架spring batch詳細(xì)介紹

什么是Step

每一個(gè)Step對象都封裝了批處理作業(yè)的一個(gè)獨(dú)立的階段。 事實(shí)上,每一個(gè)Job本質(zhì)上都是由一個(gè)或多個(gè)步驟組成。 每一個(gè)step包含定義和控制實(shí)際批處理所需的所有信息。 任何特定的內(nèi)容都由編寫Job的開發(fā)人員自行決定。 一個(gè)step可以非常簡單也可以非常復(fù)雜。 例如,一個(gè)step的功能是將文件中的數(shù)據(jù)加載到數(shù)據(jù)庫中,那么基于現(xiàn)在spring batch的支持則幾乎不需要寫代碼。 更復(fù)雜的step可能具有復(fù)雜的業(yè)務(wù)邏輯,這些邏輯作為處理的一部分。 與Job一樣,Step具有與JobExecution類似的StepExecution,如下圖所示:

Java中批處理框架spring batch詳細(xì)介紹

什么是StepExecution

StepExecution表示一次執(zhí)行Step, 每次運(yùn)行一個(gè)Step時(shí)都會(huì)創(chuàng)建一個(gè)新的StepExecution,類似于JobExecution。 但是,某個(gè)步驟可能由于其之前的步驟失敗而無法執(zhí)行。 且僅當(dāng)Step實(shí)際啟動(dòng)時(shí)才會(huì)創(chuàng)建StepExecution。

一次step執(zhí)行的實(shí)例由StepExecution類的對象表示。 每個(gè)StepExecution都包含對其相應(yīng)步驟的引用以及JobExecution和事務(wù)相關(guān)的數(shù)據(jù),例如提交和回滾計(jì)數(shù)以及開始和結(jié)束時(shí)間。 此外,每個(gè)步驟執(zhí)行都包含一個(gè)ExecutionContext,其中包含開發(fā)人員需要在批處理運(yùn)行中保留的任何數(shù)據(jù),例如重新啟動(dòng)所需的統(tǒng)計(jì)信息或狀態(tài)信息。下面是一個(gè)從數(shù)據(jù)庫當(dāng)中截圖的實(shí)例:

Java中批處理框架spring batch詳細(xì)介紹

什么是ExecutionContext

ExecutionContext即每一個(gè)StepExecution 的執(zhí)行環(huán)境。它包含一系列的鍵值對。我們可以用如下代碼獲取ExecutionContext

ExecutionContext ecStep = stepExecution.getExecutionContext();ExecutionContext ecJob = jobExecution.getExecutionContext(); 什么是JobRepository

JobRepository是一個(gè)用于將上述job,step等概念進(jìn)行持久化的一個(gè)類。 它同時(shí)給Job和Step以及下文會(huì)提到的JobLauncher實(shí)現(xiàn)提供CRUD操作。 首次啟動(dòng)Job時(shí),將從repository中獲取JobExecution,并且在執(zhí)行批處理的過程中,StepExecution和JobExecution將被存儲(chǔ)到repository當(dāng)中。

@EnableBatchProcessing注解可以為JobRepository提供自動(dòng)配置。

< id='joblauncher'>什么是JobLauncher

JobLauncher這個(gè)接口的功能非常簡單,它是用于啟動(dòng)指定了JobParameters的Job,為什么這里要強(qiáng)調(diào)指定了JobParameter,原因其實(shí)我們在前面已經(jīng)提到了,jobparameter和job一起才能組成一次job的執(zhí)行。下面是代碼實(shí)例:

public interface JobLauncher { public JobExecution run(Job job, JobParameters jobParameters) throws JobExecutionAlreadyRunningException, JobRestartException, JobInstanceAlreadyCompleteException, JobParametersInvalidException;}

上面run方法實(shí)現(xiàn)的功能是根據(jù)傳入的job以及jobparamaters從JobRepository獲取一個(gè)JobExecution并執(zhí)行Job。

什么是Item Reader

ItemReader是一個(gè)讀數(shù)據(jù)的抽象,它的功能是為每一個(gè)Step提供數(shù)據(jù)輸入。 當(dāng)ItemReader以及讀完所有數(shù)據(jù)時(shí),它會(huì)返回null來告訴后續(xù)操作數(shù)據(jù)已經(jīng)讀完。Spring Batch為ItemReader提供了非常多的有用的實(shí)現(xiàn)類,比如JdbcPagingItemReader,JdbcCursorItemReader等等。

ItemReader支持的讀入的數(shù)據(jù)源也是非常豐富的,包括各種類型的數(shù)據(jù)庫,文件,數(shù)據(jù)流,等等。幾乎涵蓋了我們的所有場景。

下面是一個(gè)JdbcPagingItemReader的例子代碼:

@Beanpublic JdbcPagingItemReader itemReader(DataSource dataSource, PagingQueryProvider queryProvider) { Map<String, Object> parameterValues = new HashMap<>(); parameterValues.put('status', 'NEW'); return new JdbcPagingItemReaderBuilder<CustomerCredit>() .name('creditReader') .dataSource(dataSource) .queryProvider(queryProvider) .parameterValues(parameterValues) .rowMapper(customerCreditMapper()) .pageSize(1000) .build();} @Beanpublic SqlPagingQueryProviderFactoryBean queryProvider() { SqlPagingQueryProviderFactoryBean provider = new SqlPagingQueryProviderFactoryBean(); provider.setSelectClause('select id, name, credit'); provider.setFromClause('from customer'); provider.setWhereClause('where status=:status'); provider.setSortKey('id'); return provider;}

JdbcPagingItemReader必須指定一個(gè)PagingQueryProvider,負(fù)責(zé)提供SQL查詢語句來按分頁返回?cái)?shù)據(jù)。

下面是一個(gè)JdbcCursorItemReader的例子代碼:

private JdbcCursorItemReader<Map<String, Object>> buildItemReader(final DataSource dataSource, String tableName, String tenant) { JdbcCursorItemReader<Map<String, Object>> itemReader = new JdbcCursorItemReader<>(); itemReader.setDataSource(dataSource); itemReader.setSql('sql here'); itemReader.setRowMapper(new RowMapper()); return itemReader; }什么是Item Writer

既然ItemReader是讀數(shù)據(jù)的一個(gè)抽象,那么ItemWriter自然就是一個(gè)寫數(shù)據(jù)的抽象,它是為每一個(gè)step提供數(shù)據(jù)寫出的功能。寫的單位是可以配置的,我們可以一次寫一條數(shù)據(jù),也可以一次寫一個(gè)chunk的數(shù)據(jù),關(guān)于chunk下文會(huì)有專門的介紹。ItemWriter對于讀入的數(shù)據(jù)是不能做任何操作的。

Spring Batch為ItemWriter也提供了非常多的有用的實(shí)現(xiàn)類,當(dāng)然我們也可以去實(shí)現(xiàn)自己的writer功能。

什么是Item Processor

ItemProcessor對項(xiàng)目的業(yè)務(wù)邏輯處理的一個(gè)抽象, 當(dāng)ItemReader讀取到一條記錄之后,ItemWriter還未寫入這條記錄之前,I我們可以借助temProcessor提供一個(gè)處理業(yè)務(wù)邏輯的功能,并對數(shù)據(jù)進(jìn)行相應(yīng)操作。如果我們在ItemProcessor發(fā)現(xiàn)一條數(shù)據(jù)不應(yīng)該被寫入,可以通過返回null來表示。ItemProcessor和ItemReader以及ItemWriter可以非常好的結(jié)合在一起工作,他們之間的數(shù)據(jù)傳輸也非常方便。我們直接使用即可。

chunk 處理流程

spring batch提供了讓我們按照chunk處理數(shù)據(jù)的能力,一個(gè)chunk的示意圖如下:

Java中批處理框架spring batch詳細(xì)介紹

它的意思就和圖示的一樣,由于我們一次batch的任務(wù)可能會(huì)有很多的數(shù)據(jù)讀寫操作,因此一條一條的處理并向數(shù)據(jù)庫提交的話效率不會(huì)很高,因此spring batch提供了chunk這個(gè)概念,我們可以設(shè)定一個(gè)chunk size,spring batch 將一條一條處理數(shù)據(jù),但不提交到數(shù)據(jù)庫,只有當(dāng)處理的數(shù)據(jù)數(shù)量達(dá)到chunk size設(shè)定的值得時(shí)候,才一起去commit.

java的實(shí)例定義代碼如下:

Java中批處理框架spring batch詳細(xì)介紹

在上面這個(gè)step里面,chunk size被設(shè)為了10,當(dāng)ItemReader讀的數(shù)據(jù)數(shù)量達(dá)到10的時(shí)候,這一批次的數(shù)據(jù)就一起被傳到itemWriter,同時(shí)transaction被提交。

skip策略和失敗處理

一個(gè)batch的job的step,可能會(huì)處理非常大數(shù)量的數(shù)據(jù),難免會(huì)遇到出錯(cuò)的情況,出錯(cuò)的情況雖出現(xiàn)的概率較小,但是我們不得不考慮這些情況,因?yàn)槲覀冏鰯?shù)據(jù)遷移最重要的是要保證數(shù)據(jù)的最終一致性。spring batch當(dāng)然也考慮到了這種情況,并且為我們提供了相關(guān)的技術(shù)支持,請看如下bean的配置:

Java中批處理框架spring batch詳細(xì)介紹

我們需要留意這三個(gè)方法,分別是skipLimit(),skip(),noSkip(),

skipLimit方法的意思是我們可以設(shè)定一個(gè)我們允許的這個(gè)step可以跳過的異常數(shù)量,假如我們設(shè)定為10,則當(dāng)這個(gè)step運(yùn)行時(shí),只要出現(xiàn)的異常數(shù)目不超過10,整個(gè)step都不會(huì)fail。注意,若不設(shè)定skipLimit,則其默認(rèn)值是0.

skip方法我們可以指定我們可以跳過的異常,因?yàn)橛行┊惓5某霈F(xiàn),我們是可以忽略的。

noSkip方法的意思則是指出現(xiàn)這個(gè)異常我們不想跳過,因此這種異常出現(xiàn)一次時(shí),計(jì)數(shù)器就會(huì)加一,直到達(dá)到上限。

批處理操作指南

本部分是一些使用spring batch時(shí)的值得注意的點(diǎn)

批處理原則

在構(gòu)建批處理解決方案時(shí),應(yīng)考慮以下關(guān)鍵原則和注意事項(xiàng)。

批處理體系結(jié)構(gòu)通常會(huì)影響體系結(jié)構(gòu) 盡可能簡化并避免在單批應(yīng)用程序中構(gòu)建復(fù)雜的邏輯結(jié)構(gòu) 保持?jǐn)?shù)據(jù)的處理和存儲(chǔ)在物理上靠得很近(換句話說,將數(shù)據(jù)保存在處理過程中)。 最大限度地減少系統(tǒng)資源的使用,尤其是I / O. 在internal memory中執(zhí)行盡可能多的操作。 查看應(yīng)用程序I / O(分析SQL語句)以確保避免不必要的物理I / O. 特別是,需要尋找以下四個(gè)常見缺陷:

當(dāng)數(shù)據(jù)可以被讀取一次并緩存或保存在工作存儲(chǔ)中時(shí),讀取每個(gè)事務(wù)的數(shù)據(jù)。重新讀取先前在同一事務(wù)中讀取數(shù)據(jù)的事務(wù)的數(shù)據(jù)。導(dǎo)致不必要的表或索引掃描。未在SQL語句的WHERE子句中指定鍵值。

在批處理運(yùn)行中不要做兩次一樣的事情。 例如,如果需要數(shù)據(jù)匯總以用于報(bào)告目的,則應(yīng)該(如果可能)在最初處理數(shù)據(jù)時(shí)遞增存儲(chǔ)的總計(jì),因此您的報(bào)告應(yīng)用程序不必重新處理相同的數(shù)據(jù)。 在批處理應(yīng)用程序開始時(shí)分配足夠的內(nèi)存,以避免在此過程中進(jìn)行耗時(shí)的重新分配。 總是假設(shè)數(shù)據(jù)完整性最差。 插入適當(dāng)?shù)臋z查和記錄驗(yàn)證以維護(hù)數(shù)據(jù)完整性。 盡可能實(shí)施校驗(yàn)和以進(jìn)行內(nèi)部驗(yàn)證。 例如,對于一個(gè)文件里的數(shù)據(jù)應(yīng)該有一個(gè)數(shù)據(jù)條數(shù)紀(jì)錄,告訴文件中的記錄總數(shù)以及關(guān)鍵字段的匯總。 在具有真實(shí)數(shù)據(jù)量的類似生產(chǎn)環(huán)境中盡早計(jì)劃和執(zhí)行壓力測試。 在大批量系統(tǒng)中,數(shù)據(jù)備份可能具有挑戰(zhàn)性,特別是如果系統(tǒng)以24-7在線的情況運(yùn)行。 數(shù)據(jù)庫備份通常在在線設(shè)計(jì)中得到很好的處理,但文件備份應(yīng)該被視為同樣重要。 如果系統(tǒng)依賴于文件,則文件備份過程不僅應(yīng)該到位并記錄在案,還應(yīng)定期進(jìn)行測試。如何默認(rèn)不啟動(dòng)job

在使用java config使用spring batch的job時(shí),如果不做任何配置,項(xiàng)目在啟動(dòng)時(shí)就會(huì)默認(rèn)去跑我們定義好的批處理job。那么如何讓項(xiàng)目在啟動(dòng)時(shí)不自動(dòng)去跑job呢?

spring batch的job會(huì)在項(xiàng)目啟動(dòng)時(shí)自動(dòng)run,如果我們不想讓他在啟動(dòng)時(shí)run的話,可以在application.properties中添加如下屬性:

spring.batch.job.enabled=false在讀數(shù)據(jù)時(shí)內(nèi)存不夠

在使用spring batch做數(shù)據(jù)遷移時(shí),發(fā)現(xiàn)在job啟動(dòng)后,執(zhí)行到一定時(shí)間點(diǎn)時(shí)就卡在一個(gè)地方不動(dòng)了,且log也不再打印,等待一段時(shí)間之后,得到如下錯(cuò)誤:

Java中批處理框架spring batch詳細(xì)介紹

紅字的信息為:Resource exhaustion event:the JVM was unable to allocate memory from the heap.

翻譯過來的意思就是項(xiàng)目發(fā)出了一個(gè)資源耗盡的事件,告訴我們java虛擬機(jī)無法再為堆分配內(nèi)存。

造成這個(gè)錯(cuò)誤的原因是: 這個(gè)項(xiàng)目里的batch job的reader是一次性拿回了數(shù)據(jù)庫里的所有數(shù)據(jù),并沒有進(jìn)行分頁,當(dāng)這個(gè)數(shù)據(jù)量太大時(shí),就會(huì)導(dǎo)致內(nèi)存不夠用。解決的辦法有兩個(gè):

調(diào)整reader讀數(shù)據(jù)邏輯,按分頁讀取,但實(shí)現(xiàn)上會(huì)麻煩一些,且運(yùn)行效率會(huì)下降 增大service內(nèi)存

更多信息請參考博客:spring batch使用reader讀數(shù)據(jù)的內(nèi)存容量問題

到此這篇關(guān)于Java中批處理框架spring batch詳細(xì)介紹的文章就介紹到這了,更多相關(guān)Java 批處理框架spring batch內(nèi)容請搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)!

標(biāo)簽: Java
相關(guān)文章:
主站蜘蛛池模板: 噜噜噜狠狠夜夜躁精品 | 免费一级真人毛片 | 亚洲综合爱久久影院 | 成人亚洲国产精品久久 | 亚洲国产天堂久久九九九 | 欧美14videosex性欧美成人 | 日本精品一区二区三区在线视频一 | 成人国产视频在线观看 | 国产精品久久久久久久午夜片 | 草草视频手机在线观看视频 | 成人国产精品一区二区网站 | 日韩欧美一级毛片在线 | 久久精品国产第一区二区 | 国产成人综合日韩精品无 | 日本成人在线免费观看 | 精品久久在线观看 | 鲁老汉精品视频在线观看 | 亚洲一区二区三区高清视频 | 亚洲精品a | 精品日韩二区三区精品视频 | 国产精品一级香蕉一区 | 男操女b| 初爱视频教程在线观看高清 | 欧美在线做爰高清视频 | 日本精品一区二区三区在线视频一 | 一本一道久久 | 欧美国产精品不卡在线观看 | 免费一级毛片免费播放 | 欧美成人在线视频 | 黄色网址进入 | 日本国产一区二区三区 | 亚洲日本在线观看视频 | 国产亚洲男人的天堂在线观看 | 96精品免费视频大全 | 99久久精品免费看国产一区二区三区 | 国产片在线天堂av | 欧美在线黄色 | 欧美一区二区三区免费 | 久久国产成人亚洲精品影院老金 | 精品国产91久久久久 | 永久免费91桃色福利 |