Jak znaleźć różnice w zawartości między 2 tabelami SQL i wygenerować SQL synchronizacji

Jak znaleźć różnice w danych między dwiema tabelami, które mają dokładny schemat, i jak wygenerować SQL synchronizacji, aby uzyskać wyniki unii (bez duplikatów)?

Są to 2 tabele:

SOURCE01.dbo.Customers (31,022 rows)

TARGET01.dbo.Customers (29,300 rows)

Schemat każdej tabeli to:

• [CustomerId] : nvarchar(255)
• [CustomerSerializedProfile]: nvarchar(max)
• [CreatedDatetime] : DateTime

Oprócz tablediff i powerhell wspomnianych w poprzednich odpowiedziach, możesz także użyć SQL z instrukcją UNION ALL, aby znaleźć rekordy, które nie pasują do 2 identycznych tabel:

SELECT MIN(TableName) AS TableName
   ,ID
   ,NAME
   ,lastname
   ,Address
   ,City
FROM (
SELECT 'Table A' AS TableName
    ,Customers.id
    ,Customers.NAME
    ,Customers.lastname
    ,Customers.Address
    ,Customers.City
FROM Customers

UNION ALL

SELECT 'Table B' AS TableName
    ,CustomersOld.id
    ,CustomersOld.NAME
    ,CustomersOld.lastname
    ,CustomersOld.Address
    ,CustomersOld.City
FROM CustomersOld
) tmp
GROUP BY ID
   ,NAME
   ,lastname
   ,Address
   ,City
HAVING COUNT(*) = 1
ORDER BY id;

Inną opcją, którą możesz wypróbować, jest porównywanie danych w samym Visual Studio. Porównuje dane w źródłowej i docelowej bazie danych i tworzy skrypt synchronizacji dla tabel wybranych do synchronizacji.

Na koniec możesz użyć narzędzia porównywania danych SQL - ApexSQL Data Diff , aby ustawić wszystkie opcje synchronizacji, mapować tabele i kolumny pod różnymi nazwami, stworzyć własne klucze do porównania w GUI. Możesz zaplanować, aby działał bez nadzoru, a wszystko, co musisz zrobić, to sprawdzić historię zadań programu SQL Server rano. Jeśli potrzebujesz więcej informacji na temat tych opcji, polecam przeczytanie tego artykułu: http://solutioncenter.apexsql.com/automatically-compare-and-synchronize-sql-server-data/

Nieoczekiwanie nikt nie wspomniał, że jest to wbudowane w SQL Server Data Tools. Chociaż funkcjonalność jest podstawowa w porównaniu na przykład z Redgate.

Niektóre szczegóły w Porównywanie i synchronizowanie danych w jednej lub kilku tabelach z danymi w referencyjnej bazie danych

Korzystanie z rodzimych narzędzi:

tablediff : narzędzie tablediff porównuje dane w tabeli źródłowej z tabelą w tabeli docelowej.

powershell: porównaj-obiekt pozwala to osiągnąć. tutaj jest dobry przykład

strona trzecia:

schemat redgate i porównanie danych. Możesz nawet użyć programu PowerShell i porównania schematów / danych do automatyzacji.

Ostatnio użyłem tego do podobnego celu:

select
    s.*
    ,t.*
from SOURCE01.dbo.Customers as s
full outer join TARGET01.dbo.Customers as t
    on s.CustomerId = t.CustomerId
where s.CustomerSerializedProfile <> t.CustomerSerializedProfile
or s.CreatedDatetime <> t.CreatedDatetime
or s.CustomerId is NULL
or t.CustomerId is NULL;

Polega on na spójności klucza podstawowego. Ale w końcu musisz mieć coś spójnego. Meta skrypt do generowania kodu jak wyżej jest stosunkowo łatwy do napisania i sprawia, że ​​tabele wielokolumnowe są łatwe do porównania.

Co do synchronizacji trzeba będzie source left join targeti target left join source, a następnie zdecydować, co chcesz zrobić z wynikiem każda.

To powinno dać ci różnice między dwiema tabelami, możesz następnie zawinąć to w zapytanie wstawiania, aby wstawić różnice z A do B lub odwrotnie.

SELECT A.CustomerId, A.CustomerSerializedProfile, A.CreatedDatetime
  FROM SOURCE01.dbo.Customers A
 WHERE NOT EXISTS (SELECT B.ID
                 FROM TARGET01.dbo.Customers
                WHERE B.CustomerId= A.CustomerId
                  AND B.CustomerSerializedProfile= A.CustomerSerializedProfile
                  AND B.CreatedDatetime= A.CreatedDatetime)

Jedno z naszych bezpłatnych narzędzi ma pełny interfejs dla TableDiff:

http://nobhillsoft.com/Diana.aspx

Sprawdź także nasze narzędzie do porównywania DB. Jest to jedyny taki, który porównuje nieograniczoną ilość danych (żaden inny nie może robić milionów i milionów rekordów)… tak długo, jak porównasz dwa połączone serwery

http://nobhillsoft.com/NHDBCompare.aspx

(w tym wątku widzieliśmy inne linki do produktów innych firm, więc uważamy, że warto wspomnieć o naszym ... prosimy o informację, jeśli tak nie jest)

Jeśli obie tabele mają podobne klucze podstawowe, możesz użyć poniższej strategii, aby porównać tabele źródłowe i docelowe: (Kolumny kluczy kompozytowych oznaczyłem gwiazdką)

with src as (select someCol1*, 
                    someCol2*, 
                    someCol3, 
                    someCol4, 
                    someCol5
             from src_table),

tgt as (select someCol1NameCouldDiffer* as someCol1, 
               someCol2*, 
               someCol3, 
               someCol4, 
               someCol5
        from tgt_table),

--Find which keys have at least 1 non-key column difference:

diffs as (select someCol1, 
                 someCol2 
          from (select all 5 columns 
                from src 
                **union** 
                select all 5 columns 
                from target ) 
           **group by** someCol1, someCol2 
           **having count(*)>1** 

--Reselect all columns you wish to compare from src union target, 
--joining on the keys from "diffs" above to show only records which 
--have data differences.

select * 
from (select all 5 columns 
      from src 
      union 
      select all 5 cols 
       from tgt) t1 
join diffs on t1.someCol1 = diffs.someCol1 
           and t1.someCol2 = diffs.someCol2 
**order by ** someCol1, someCol2 desc

Działa to, ponieważ związek domyślnie zwraca odrębne rekordy. Tak więc dla każdego wiersza (identyfikowanego przez jakiś klucz) w źródle, które ma być dokładnie dopasowane do celu, można oczekiwać, że połączenie src i celu zwróci 1 wiersz dla dowolnego danego klucza. Tak więc możesz użyć powyższej strategii, aby dowiedzieć się, które klucze zwracają wynik unii posiadającej wiele wierszy, a następnie ponownie przeszukuj cel unii src, (tym razem wybierając tylko rekordy różniące się łącząc się z tabelą różnic) wybierając wszystkie kolumny, które chcesz porównaj, uporządkuj według kolumn tworzących klucz, a zobaczysz dokładnie, które kolumny są niezgodne. Zwróć uwagę, że nazwy kolumn w źródle i celu nie muszą być takie same, ponieważ można je aliasować za pomocą instrukcji „as”.

Aby znaleźć różnice między dwiema identycznymi tabelami

WYBIERZ *
Z SOURCE01.dbo. Klienci

UNION

WYBIERZ *
Z TARGET01.dbo. Klienci

Z WYJĄTKIEM

WYBIERZ *
Z SOURCE01.dbo. Klienci

INTERSECT

WYBIERZ *
Z TARGET01.dbo. Klienci


Kolejność operacji powoduje, że INTERSECT jest wykonywany jako pierwszy, co daje zestaw danych zawierający tylko wiersze istniejące w obu tabelach. Po drugie, wykonywany jest UNION, który daje wszystkie wiersze z obu tabel bez duplikatów. Na koniec wykonywany jest WYJĄTEK, który usuwa z UNII (wszystkie wiersze obu tabel) zestaw danych INTERSECT, który jest wierszami w obu tabelach. To pozostawia zestaw danych zawierający tylko wiersze, które istnieją w jednej tabeli, ale nie w drugiej. Jeśli zestaw danych wróci pusty, wszystkie wiersze są takie same między tabelami.



https://docs.microsoft.com/en-us/sql/t-sql/language-elements/set-operators-except-and-intersect-transact-sql

Miałem podobny problem i użyłem polecenia SQL „EXCEPT”, aby rozwiązać problem. Polecenie EXCEPT przyjmuje dwie instrukcje SELECT i zwraca wiersze zwracane przez pierwszą instrukcję SELECT (po lewej), a nie przez drugą (po prawej) instrukcję SELECT.

SELECT * from table1 where x,y,z 
EXCEPT
SELECT * from table2 where a,b,c

PS: Schemat dla obu tabel zwróconych przez instrukcję SELECT musi być zgodny.

Dla większej przejrzystości odwiedź: Tutorials Point Page tutaj

/*
Compare master table data on 2 servers (
1. Change server name
2. Set RaceDate (@racedate) with the >, < ,= >= operator 
 before you run)

 --KNOWN ISSUES
 1. Tables need PKs

*/
SET NOCOUNT ON

--Destination Server Details
DECLARE @destServ nvarchar(40)='[sql\inst23]'    --required             -- If local instance, leave the string empty 
DECLARE @destdb nvarchar(40)='DBName'         --required        
DECLARE @destSchema nvarchar(40)='dbo'        --required        
DECLARE @destTable  nvarchar(40)='TableName'    --required      

-- Source Server Details
DECLARE @SourServ nvarchar(40)='[sql\inst07]'   --required      
DECLARE @Sourdb nvarchar(40)='DBonRemoteServer'  --required     
DECLARE @SourSchema nvarchar(40)='dbo'          --required      
DECLARE @SourTable  nvarchar(40)='TableName'      --required                                -- TableName format 'MyTable'

DECLARE @WHERE nvarchar(400) = 'WHERE 1=1'

DECLARE @Clause nvarchar(400)= 'AND Id > 201808201500000'       --Choose a Predicate to limit data --Start with AND . e.g: 'AND Date > ''20180801'' '

SELECT @WHERE = @WHERE + @Clause

DECLARE @randomtablesuffix nvarchar(5)
SELECT @randomtablesuffix= SUBSTRING(CAST(NEWID() as nvarchar(255)),1,5)


declare @v nvarchar(max), @sql nvarchar(max), @retval nvarchar(max) , @ParamDef nvarchar(400)

--GET Columns List as varchar Columns for HASHBYTES to compare
SELECT @sql='SELECT @vv= COALESCE(@vv,'''')+''CAST(ISNULL(''+ COLUMN_NAME  + '',0) as VARCHAR(''+ 
        CASE WHEN DATA_TYPE IN (''varchar'',''nvarchar'') THEN CAST(CHARACTER_MAXIMUM_LENGTH as varchar(5)) ELSE ''60 '' END +'')) + ''
from '+ @destdb + '.INFORMATION_SCHEMA.COLUMNS where TABLE_NAME='+ QUOTENAME(@destTable,'''') + ''

SET @ParamDef = N'@vv nvarchar(max) OUTPUT'
EXEC sp_executesql @sql, @ParamDef, @vv=@v OUTPUT;

SELECT @v= SUBSTRING(@v,0,LEN(@v))

--Keys to JOIN
DECLARE @pkeylistJoinOUT nvarchar(4000)=''
SET @sql='SELECT @pkeylistJoin = ISNULL(@pkeylistJoin,'''') + '' a.''+ QUOTENAME(COLUMN_NAME) + ''=b.''+ QUOTENAME(COLUMN_NAME) + '' AND'' 
    FROM '+@destdb+'.[INFORMATION_SCHEMA].[KEY_COLUMN_USAGE]
    WHERE TABLE_NAME='+ QUOTENAME(@destTable,'''') + ' ORDER BY ORDINAL_POSITION'

SET @ParamDef = N'@pkeylistJoin nvarchar(max) OUTPUT'
EXEC sp_executesql @sql, @ParamDef, @pkeylistJoin=@pkeylistJoinOUT OUTPUT;  

SELECT @pkeylistJoinOUT = REPLACE(REPLACE(REVERSE( SUBSTRING(REVERSE(@pkeylistJoinOUT), CHARINDEX(']', REVERSE(@pkeylistJoinOUT)), LEN(@pkeylistJoinOUT)) ),']',''),'[','')


--Get Column List 

DECLARE @ColumnListOut nvarchar(max)=''
SET @sql='SELECT  @ColumnList=ISNULL(@ColumnList,'''') + COLUMN_NAME + '',''  FROM '+@destdb +'.[INFORMATION_SCHEMA].[COLUMNS] WHERE TABLE_NAME='+QUOTENAME(@destTable,'''')+ ' ORDER BY ORDINAL_POSITION'

SET @ParamDef = N'@ColumnList nvarchar(max) OUTPUT'
EXEC sp_executesql @sql, @ParamDef, @ColumnList=@ColumnListOut OUTPUT;  


SET @ColumnListOut=SUBSTRING(@ColumnListOut,0,LEN(@ColumnListOut))

--Now Compare

SELECT @sql='

SELECT a.* INTO ##_destissues'+@randomtablesuffix+' FROM (
SELECT HASHBYTES (''SHA2_512'','+ @v +')HashVal,'+ @ColumnListOut +' FROM '+@destServ+'.'+@destdb+'.'+@destSchema+'.'+@destTable + ' x WITH (NOLOCK) ' + @WHERE + '
)a 
JOIN (
SELECT HASHBYTES (''SHA2_512'','+@v +')HashVal,'+ @ColumnListOut + ' FROM ' +@SourServ +'.'+ @Sourdb+ '.'+@SourSchema+'.'+ @SourTable +' y WITH (NOLOCK)  ' + @WHERE + '
)
b ON '+@pkeylistJoinOUT + ' AND  a.HashVal <> b.HashVal '

--print @sql

exec (@sql)


SELECT @sql='

SELECT b.* INTO ##_sourceissues'+@randomtablesuffix+ ' FROM (
SELECT HASHBYTES (''SHA2_512'','+ @v +')HashVal,'+ @ColumnListOut +' FROM '+@destServ+'.'+@destdb+'.'+@destSchema+'.'+@destTable + ' x WITH (NOLOCK) ' + @WHERE + '
)a 
JOIN (
SELECT HASHBYTES (''SHA2_512'','+@v +')HashVal,'+ @ColumnListOut + ' FROM ' +@SourServ +'.'+ @Sourdb+ '.'+@SourSchema+'.'+ @SourTable +' y WITH (NOLOCK)  ' + @WHERE + '
)
b ON '+@pkeylistJoinOUT + ' AND  a.HashVal <> b.HashVal '


exec (@sql)

--Get Column List for Pivoting
DECLARE @ColumnListOutasVC nvarchar(max)=''

SET @sql='SELECT  @ColumnList=ISNULL(@ColumnList,'''')+  ''CAST(''+ COLUMN_NAME + '' AS VARCHAR(200)) as ''+ COLUMN_NAME + '',''   FROM ' + @destdb+'.[INFORMATION_SCHEMA].[COLUMNS] WHERE TABLE_NAME='+QUOTENAME(@desttable,'''')


SET @ParamDef = N'@ColumnList nvarchar(max) OUTPUT'
EXEC sp_executesql @sql, @ParamDef, @ColumnList=@ColumnListOutasVC OUTPUT;  

SET @ColumnListOutasVC=SUBSTRING(@ColumnListOutasVC,0,LEN(@ColumnListOutasVC))

--Get PKs as VARCHAR Values

DECLARE @pkeylistJoinOUTVC nvarchar(4000)=''

SET @sql='SELECT @pkeylistJoin = ISNULL(@pkeylistJoin,'''') + ''CAST(''+COLUMN_NAME + '' as varchar(200)) as '' + COLUMN_NAME + ''1,''  FROM '+ @destdb+'.[INFORMATION_SCHEMA].[KEY_COLUMN_USAGE]   WHERE TABLE_NAME='+QUOTENAME(@destTable,'''') + '  ORDER BY ORDINAL_POSITION'

SET @ParamDef = N'@pkeylistJoin nvarchar(max) OUTPUT'
EXEC sp_executesql @sql, @ParamDef, @pkeylistJoin=@pkeylistJoinOUTVC OUTPUT;    
SET @pkeylistJoinOUTVC=SUBSTRING(@pkeylistJoinOUTVC,0,LEN(@pkeylistJoinOUTVC))
--SELECT @pkeylistJoinOUTVC





SET @sql='
select  * INTO ##_destissuedetail'+@randomtablesuffix+ ' from(
select '+ @pkeylistJoinOUTVC + ', ' + @ColumnListOutasVC
                + '
from 
##_destissues'+ @randomtablesuffix+ '
)c UNPIVOT
(
Vals for ColNames in ('+@ColumnListOut+')
) d'

EXEC( @sql)


SET @sql='
select  * INTO ##_sourceissuedetail'+@randomtablesuffix+' from(
select '+ @pkeylistJoinOUTVC + ', ' + @ColumnListOutasVC
                + '
from 
##_sourceissues'+ @randomtablesuffix+'
)c UNPIVOT
(
Vals for ColNames in ('+@ColumnListOut+')
) d'

EXEC( @sql)

SELECT 'Tables to look for data are ##_destissuedetail'+@randomtablesuffix +' and  ##_sourceissuedetail ' +@randomtablesuffix

SET @sql='
SELECT * FROM ##_destissuedetail'+@randomtablesuffix+ '
EXCEPT
SELECT * FROM ##_sourceissuedetail' +@randomtablesuffix

EXEC (@sql)

Skrypt (podany wraz z odpowiednimi szczegółami) porównuje 2 tabele (powiedzmy Klienci na serwerze 1 do Klienci na serwerze 2).

Ten skrypt będzie przydatny, jeśli porównujesz tabelę z wieloma kolumnami, ale nie możesz znaleźć dokładnej kolumny niezgodnej.

Mam tabelę z 353 kolumnami i musiałem porównać ją z inną tabelą i znaleźć z wartościami nie pasującymi, a ten skrypt pomoże ci znaleźć dokładną krotkę.

Myślę, że powinieneś spróbować xSQL Data Compare , który załatwi sprawę w twoim przypadku. Powiedzmy na przykład, że określasz

SOURCE01.dbo.Customers as the **left table** and
TARGET01.dbo.Customers as the **right table**

Po porównaniu tabel w wyniku porównania możesz określić, że chcesz zsynchronizować tylko różnice w lewej tabeli, które utworzyłyby skrypt SQL do wstawienia do TARGET01.dbo. Klienci wszystkich wierszy, których nie ma w tej tabeli, ale istnieją w SOURCE01.dbo.Customers (Osiągnięcie wyniku UNION bez duplikatów). Mam nadzieję że to pomoże!

Ujawnienie: Jestem związany z xSQL.