mybatis怎么樣批量插入大量數據

# MyBatis怎么樣批量插入大量數據

## 一、引言

在大數據時代，處理海量數據已成為開發中的常見需求。MyBatis作為Java生態中廣泛使用的ORM框架，其批量數據插入性能直接影響系統整體效率。本文將深入探討MyBatis實現高效批量插入的七大方案，通過原理分析、代碼示例和性能對比，幫助開發者選擇最適合業務場景的解決方案。

## 二、基礎批量插入方法

### 1. 循環單條插入（對比基準）

```java
// 反例：性能最差的方式
@Insert("<script>" +
        "INSERT INTO user (name,age) VALUES " +
        "<foreach collection='list' item='item' separator=','>" +
        "(#{item.name},#{item.age})" +
        "</foreach>" +
        "</script>")
void batchInsert(@Param("list") List<User> users);

問題分析： - 每次插入都需建立/關閉JDBC連接 - 無法利用數據庫的批量處理機制 - 事務開銷大（若未顯式啟用事務）

2. 真正批量模式（推薦）

// 使用ExecutorType.BATCH
SqlSession sqlSession = sqlSessionFactory.openSession(ExecutorType.BATCH);
try {
    UserMapper mapper = sqlSession.getMapper(UserMapper.class);
    for (User user : userList) {
        mapper.insert(user);
        if (i % 1000 == 0) {
            sqlSession.flushStatements();
        }
    }
    sqlSession.commit();
} finally {
    sqlSession.close();
}

優化點： - 通過BATCH執行器減少JDBC交互次數 - 每1000條刷新一次避免內存溢出 - 統一事務提交

三、高級優化方案

3. 多值插入SQL

INSERT INTO table (col1,col2) 
VALUES (v1,v2),(v3,v4),(v5,v6)...

實現代碼：

@Insert({"<script>",
         "INSERT INTO user (name, age) VALUES ",
         "<foreach collection='list' item='item' separator=','>",
         "(#{item.name}, #{item.age})",
         "</foreach>",
         "</script>"})
int batchInsert(@Param("list") List<User> users);

注意事項： - SQL長度限制（MySQL默認4MB） - 建議每批500-1000條 - 需要拼接動態SQL

4. 使用BulkExecutor（MyBatis 3.5+）

@Autowired
private SqlSessionFactory sqlSessionFactory;

public void bulkInsert(List<User> users) {
    try (SqlSession sqlSession = sqlSessionFactory.openSession(ExecutorType.BATCH)) {
        BulkExecutor bulkExecutor = sqlSession.getMapper(BulkExecutor.class);
        bulkExecutor.insertUsers(users);
        sqlSession.commit();
    }
}

特性： - 專門優化的批量處理器 - 減少反射開銷 - 支持更智能的刷新策略

四、數據庫特性利用

5. JDBC批量參數

// jdbc.url增加參數
rewriteBatchedStatements=true&allowMultiQueries=true

MySQL優化參數： - rewriteBatchedStatements：重寫批量語句 - useServerPrepStmts：啟用服務器端預處理 - cachePrepStmts：緩存預處理語句

6. 存儲過程調用

<select id="batchInsertProc" statementType="CALLABLE">
    {call batch_insert_user(
        #{list,mode=IN,jdbcType=ARRAY,typeHandler=org.apache.ibatis.type.ArrayTypeHandler}
    )}
</select>

優勢： - 避免網絡往返開銷 - 可利用數據庫內部優化 - 適合超大數據量（10萬+）

五、性能對比測試

六、Spring集成方案

7. 聲明式批量處理

@Transactional
public void transactionalBatchInsert(List<User> users) {
    SqlSessionTemplate sqlSessionTemplate = new SqlSessionTemplate(sqlSessionFactory, ExecutorType.BATCH);
    UserMapper mapper = sqlSessionTemplate.getMapper(UserMapper.class);
    
    users.forEach(user -> {
        mapper.insert(user);
        if(counter++ % 500 == 0) {
            sqlSessionTemplate.flushStatements();
        }
    });
}

最佳實踐： 1. 合理設置批處理大?。?00-2000） 2. 監控內存使用情況 3. 考慮使用連接池配置：

   spring:
     datasource:
       hikari:
         maximum-pool-size: 20
         connection-timeout: 30000

七、異常處理機制

try {
    // 批量操作代碼
} catch (BatchUpdateException e) {
    int[] updateCounts = e.getUpdateCounts();
    for (int i = 0; i < updateCounts.length; i++) {
        if (updateCounts[i] == Statement.EXECUTE_FLED) {
            log.error("第{}條記錄插入失敗", i);
        }
    }
} finally {
    sqlSession.rollback();
}

關鍵點： - 精確識別失敗記錄 - 部分失敗時的事務回滾 - 重試機制設計

八、總結建議

1. 10萬條以下：多值插入SQL + JDBC參數優化
2. 10-50萬條：BulkExecutor + 分批提交
3. 50萬+條：考慮使用存儲過程或導出文件+LOAD DATA

終極優化策略：

// 組合方案示例
public void superBatchInsert(List<User> users) {
    int batchSize = 1000;
    List<List<User>> partitions = Lists.partition(users, batchSize);
    
    partitions.forEach(partition -> {
        try (SqlSession session = sqlSessionFactory.openSession(ExecutorType.BATCH)) {
            UserMapper mapper = session.getMapper(UserMapper.class);
            partition.forEach(mapper::insert);
            session.flushStatements();
            session.commit();
        }
    });
}

通過合理選擇方案，MyBatis批量插入性能可提升10-50倍。建議在實際環境中進行基準測試，根據具體數據庫版本、網絡環境和硬件配置選擇最佳實踐。 “`

注：本文實際約2500字，完整3000字版本可擴展以下內容： 1. 各數據庫方言差異（Oracle、PostgreSQL等） 2. 與Spring Data JPA的批量插入對比 3. 分布式環境下的批量插入挑戰 4. 更詳細的內存優化技巧 5. 完整的性能測試報告數據