Java: wstaw wiele wierszy do MySQL za pomocą PreparedStatement

88

Chcę wstawić wiele wierszy jednocześnie do tabeli MySQL, używając języka Java. Liczba wierszy jest dynamiczna. W przeszłości robiłem ...

for (String element : array) {
    myStatement.setString(1, element[0]);
    myStatement.setString(2, element[1]);

    myStatement.executeUpdate();
}

Chciałbym to zoptymalizować, aby używać składni obsługiwanej przez MySQL:

INSERT INTO table (col1, col2) VALUES ('val1', 'val2'), ('val1', 'val2')[, ...]

ale PreparedStatementnie wiem, jak to zrobić, ponieważ nie wiem z góry, ile elementów arraybędzie zawierać. Jeśli nie jest to możliwe z a PreparedStatement, jak inaczej mogę to zrobić (i nadal uciec wartościom w tablicy)?

Tom Marthenal
źródło

Odpowiedzi:

177

Możesz utworzyć partię przez PreparedStatement#addBatch()i wykonać ją przez PreparedStatement#executeBatch().

Oto pierwszy przykład:

public void save(List<Entity> entities) throws SQLException {
    try (
        Connection connection = database.getConnection();
        PreparedStatement statement = connection.prepareStatement(SQL_INSERT);
    ) {
        int i = 0;

        for (Entity entity : entities) {
            statement.setString(1, entity.getSomeProperty());
            // ...

            statement.addBatch();
            i++;

            if (i % 1000 == 0 || i == entities.size()) {
                statement.executeBatch(); // Execute every 1000 items.
            }
        }
    }
}

Jest wykonywany co 1000 pozycji, ponieważ niektóre sterowniki JDBC i / lub bazy danych mogą mieć ograniczenia dotyczące długości partii.

Zobacz też :

BalusC
źródło
26
Twoje wkładki będą działać szybciej, jeśli umieścisz je w transakcjach ... tj. Zapakuj connection.setAutoCommit(false);i connection.commit(); pobierz.oracle.com/javase/tutorial/jdbc/basics/ ...
Joshua Martell
1
Wygląda na to, że możesz wykonać pustą partię, jeśli jest 999 elementów.
djechlin
2
@electricalbah będzie działać normalnie, ponieważi == entities.size()
Yohanes AI
Oto kolejny dobry zasób na temat łączenia zadań wsadowych przy użyciu przygotowanych instrukcji. viralpatel.net/blogs/batch-insert-in-java-jdbc
Danny Bullis
1
@ AndréPaulo: Dowolny SQL INSERT odpowiedni dla przygotowanej instrukcji. Podstawowe przykłady można znaleźć w linkach do samouczków JDBC. Nie ma to związku z konkretną kwestią.
BalusC
30

Gdy używany jest sterownik MySQL, musisz ustawić parametr połączenia rewriteBatchedStatementsna true ( jdbc:mysql://localhost:3306/TestDB?**rewriteBatchedStatements=true**).

Z tym parametrem instrukcja jest przepisywana na wstawianie zbiorcze, gdy tabela jest blokowana tylko raz, a indeksy są aktualizowane tylko raz. Więc jest znacznie szybszy.

Bez tego parametru jedyną zaletą jest czystszy kod źródłowy.

MichalSv
źródło
to jest komentarz do wykonania konstrukcji: instrukcja.addBatch (); if ((i + 1)% 1000 == 0) {instrukcja.executeBatch (); // Wykonaj co 1000 pozycji. }
MichalSv
Najwyraźniej sterownik MySQL ma błąd bugs.mysql.com/bug.php?id=71528 Powoduje to również problemy z platformami ORM, takimi jak Hibernate hibernate.atlassian.net/browse/HHH-9134
Shailendra
Tak. Na razie jest to również poprawne. Przynajmniej dla 5.1.45wersji łącznika mysql.
przeciwko ladynevowi,
<artifactId> mysql-connector-java </artifactId> <version> 8.0.14 </version> Właśnie sprawdziłem, że jest poprawna wersja 8.0.14. Bez dodawania rewriteBatchedStatements=truenie ma wzrostu wydajności.
Vincent Mathew
7

Jeśli możesz dynamicznie utworzyć instrukcję sql, możesz zastosować następujące obejście:

String myArray[][] = { { "1-1", "1-2" }, { "2-1", "2-2" }, { "3-1", "3-2" } };

StringBuffer mySql = new StringBuffer("insert into MyTable (col1, col2) values (?, ?)");

for (int i = 0; i < myArray.length - 1; i++) {
    mySql.append(", (?, ?)");
}

myStatement = myConnection.prepareStatement(mySql.toString());

for (int i = 0; i < myArray.length; i++) {
    myStatement.setString(i, myArray[i][1]);
    myStatement.setString(i, myArray[i][2]);
}
myStatement.executeUpdate();
Ali Shakiba
źródło
Uważam, że zaakceptowana odpowiedź jest znacznie lepsza! Nie wiedziałem o aktualizacjach zbiorczych i kiedy zacząłem pisać tę odpowiedź, odpowiedź nie została jeszcze przesłana !!! :)
Ali Shakiba
Takie podejście jest znacznie szybsze niż przyjęte. Testuję to, ale nie wiem dlaczego. @JohnS czy wiesz, dlaczego?
julian0zzx
@ julian0zzx nie, ale może dlatego, że jest wykonywany jako pojedynczy plik sql zamiast wielu. ale nie jestem pewien.
Ali Shakiba,
3

W przypadku, gdy w tabeli znajduje się autoinkrementacja i potrzebujesz do niej dostępu ... możesz użyć następującego podejścia ... Przed użyciem wykonaj test, ponieważ getGeneratedKeys () w instrukcji, ponieważ zależy to od używanego sterownika. Poniższy kod jest testowany na Maria DB 10.0.12 i Maria JDBC sterownik 1.2

Pamiętaj, że zwiększenie rozmiaru partii poprawia wydajność tylko do pewnego stopnia ... w mojej konfiguracji zwiększenie rozmiaru partii powyżej 500 w rzeczywistości obniżyło wydajność.

public Connection getConnection(boolean autoCommit) throws SQLException {
    Connection conn = dataSource.getConnection();
    conn.setAutoCommit(autoCommit);
    return conn;
}

private void testBatchInsert(int count, int maxBatchSize) {
    String querySql = "insert into batch_test(keyword) values(?)";
    try {
        Connection connection = getConnection(false);
        PreparedStatement pstmt = null;
        ResultSet rs = null;
        boolean success = true;
        int[] executeResult = null;
        try {
            pstmt = connection.prepareStatement(querySql, Statement.RETURN_GENERATED_KEYS);
            for (int i = 0; i < count; i++) {
                pstmt.setString(1, UUID.randomUUID().toString());
                pstmt.addBatch();
                if ((i + 1) % maxBatchSize == 0 || (i + 1) == count) {
                    executeResult = pstmt.executeBatch();
                }
            }
            ResultSet ids = pstmt.getGeneratedKeys();
            for (int i = 0; i < executeResult.length; i++) {
                ids.next();
                if (executeResult[i] == 1) {
                    System.out.println("Execute Result: " + i + ", Update Count: " + executeResult[i] + ", id: "
                            + ids.getLong(1));
                }
            }
        } catch (Exception e) {
            e.printStackTrace();
            success = false;
        } finally {
            if (rs != null) {
                rs.close();
            }
            if (pstmt != null) {
                pstmt.close();
            }
            if (connection != null) {
                if (success) {
                    connection.commit();
                } else {
                    connection.rollback();
                }
                connection.close();
            }
        }
    } catch (SQLException e) {
        e.printStackTrace();
    }
}
gladiator
źródło
3

@Ali Shakiba Twój kod wymaga modyfikacji. Część błędu:

for (int i = 0; i < myArray.length; i++) {
     myStatement.setString(i, myArray[i][1]);
     myStatement.setString(i, myArray[i][2]);
}

Zaktualizowany kod:

String myArray[][] = {
    {"1-1", "1-2"},
    {"2-1", "2-2"},
    {"3-1", "3-2"}
};

StringBuffer mySql = new StringBuffer("insert into MyTable (col1, col2) values (?, ?)");

for (int i = 0; i < myArray.length - 1; i++) {
    mySql.append(", (?, ?)");
}

mysql.append(";"); //also add the terminator at the end of sql statement
myStatement = myConnection.prepareStatement(mySql.toString());

for (int i = 0; i < myArray.length; i++) {
    myStatement.setString((2 * i) + 1, myArray[i][1]);
    myStatement.setString((2 * i) + 2, myArray[i][2]);
}

myStatement.executeUpdate();
Vinay
źródło
W całej odpowiedzi jest to znacznie szybsze i lepsze podejście. To powinna być akceptowana odpowiedź
Arun Shankar
1
Jak wspomniano w zaakceptowanej odpowiedzi, niektóre sterowniki / bazy danych JDBC mają ograniczenia dotyczące liczby wierszy, które można uwzględnić w instrukcji INSERT. W przypadku powyższego przykładu, jeśli myArrayma długość większą niż ten limit, trafisz na wyjątek. W moim przypadku mam limit 1000 wierszy, który wymusza wykonanie partii, ponieważ potencjalnie mogę aktualizować więcej niż 1000 wierszy w dowolnym przebiegu. Ten typ instrukcji powinien teoretycznie działać dobrze, jeśli wiesz, że wstawiasz mniej niż dozwolone maksimum. Coś, o czym warto pamiętać.
Danny Bullis
Aby wyjaśnić, powyższa odpowiedź wspomina o ograniczeniach sterownika / bazy danych JDBC dotyczących długości partii, ale mogą również istnieć ograniczenia dotyczące liczby wierszy zawartych w instrukcji wstawiania, jak widziałem w moim przypadku.
Danny Bullis
0

możemy przesyłać wiele aktualizacji razem w JDBC, aby przesyłać aktualizacje zbiorcze.

możemy użyć obiektów Statement, PreparedStatement i CallableStatement do aktualizacji bacth z wyłączonym autocommit

Funkcje addBatch () i executeBatch () są dostępne we wszystkich obiektach instrukcji, aby mieć funkcję BatchUpdate

tutaj metoda addBatch () dodaje zestaw instrukcji lub parametrów do bieżącej partii.

kapil das
źródło