Ⅰ 兩段不連續數據如何進行校驗
為了保證數據傳輸的正確性，因此會採取一些方法來判斷數據是否正確，或者在數據出錯的時候及時發現進行改正。常用的幾種數據校驗方式有奇偶校驗、CRC校驗、LRC校驗、格雷碼校驗、和校驗、異或校驗等。
一、奇偶校驗
1. 定義
根據被傳輸的一組二進制代碼中「1」的個數是奇數或偶數來進行校驗。
使用：通常專門設置一個奇偶校驗位，存放代碼中「1」的個數為奇數還是偶數。若用奇校驗，則奇偶校驗位為奇數，表示數據正確。若用偶校驗，則奇偶校驗位為偶數，表示數據正確。
2. 應用
eg. 數據位為 10001100 （1） -> 最後一位為校驗位
此時若約定好為奇校驗，那麼數據表示為正確的，若為偶校驗，那麼數據傳輸出錯了。
二、CRC校驗（循環冗餘校驗碼）
1. 定義
CRC校驗是數據通信領域中最常用的一種查錯校驗碼，其特徵是信息欄位和校驗欄位的長度可以任意選定。循環冗餘檢查（CRC）是一種數據傳輸檢錯功能，對數據進行多項式計算，並將得到的結果附在幀的後面，接收設備也執行類似的演算法，以保證數據傳輸的正確性和完整性。
2. 計算過程：
a> 設置CRC寄存器，並給其賦值FFFF(hex)。
b> 將數據的第一個8-bit字元與16位CRC寄存器的低8位進行異或，並把結果存入CRC寄存器。
c> CRC寄存器向右移一位，MSB補零，移出並檢查LSB。
d> 如果LSB為0，重復第三步；若LSB為1，CRC寄存器與多項式碼相異或。
e> 重復第3與第4步直到8次移位全部完成。此時一個8-bit數據處理完畢。
f> 重復第2至第5步直到所有數據全部處理完成。
g> 最終CRC寄存器的內容即為CRC值。
常用的CRC循環冗餘校驗標准多項式如下： CRC(16位) = X16+X15+X2+1 CRC(CCITT) = X16+X12 +X5+1
CRC(32位) = X32+X26+X23+X16+X12+X11+X10+X8+X7+X5+X4+X2+X+1
以CRC(16位)多項式為例，其對應校驗二進制位列為1 1000 0000 0000 0101。
3. 應用：在發送端根據要傳送的k位二進制碼序列，以一定的規則產生一個校驗用的r位監督碼(CRC碼)，附在原始信息後邊，構成一個新的二進制碼序列數共k+r位，然後發送出去。在接收端，根據信息碼和CRC碼之間所遵循的規則進行檢驗，以確定傳送中是否出錯。
三、LRC校驗隱如
1. 定義：LRC校驗用於ModBus協定的ASCII模式，這各校驗比較簡單，通訊速率較慢，它在ASCII協議中使用，檢測了消息域中除開始的冒號及結束的回車換行號外的內容。它僅僅是把每一個需要傳輸的數據位元組迭加後取反加1即可。
2. 應用
eg. 5個位元組：01H+03H+21H+02H+00H+02H = 29H，然後取2的補碼=D7H。
四、格雷碼校驗
1. 定義
格灶衫啟雷碼是一種無權碼，塌螞也是一種循環碼。是指任意兩組相鄰的代碼之間只有一位不同，其餘為都相同。
如：5的二進制為0101 6的二進制為0110
5的格雷碼為0111 6的二進制為0101
五、校驗和
1. 定義
校驗一組數據項的和是否正確。通常是以十六進制為數製表示的形式。如果校驗和的數值超過十六進制的FF，也就是255。
2. 應用
eg. 數據01020304的校驗和為a。
六、異或校驗
1. 定義
BCC校驗其實是奇偶校驗的一種，但也是經常使用並且效率較高的一種。所謂BCC校驗法，就是在發送前和發送後分別把BCC以前包括ETX字元的所有字元按位異或後，按要求變換(增加或去除一個固定的值)後所得到的字元進行比較。相等即認為通信無錯誤，不相等則認為通信出錯。
七、MD5校驗
1. 定義
MD5的實際應用是對一段Message(位元組串)產生fingerprint(指紋)，可以防止被篡改
Ⅱ 數據校驗的校驗方法
實現方法：岩埋最簡單的校驗就是把原始數據和待比較數據直接進行比較，看是否完全一樣這種方法是最安全最准確的。同時也是效率最低的。
應用例子：龍珠cpu在線調試工具bbug.exe。它和龍珠cpu間通訊時，bbug發送一個位元組cpu返回收到的位元組，bbug確認是剛才發送位元組後才繼續發送下一個位元組的。 實現方法：在數據存儲和傳輸中，位元組中額粗拍螞外增加一個比特位，用來檢驗錯誤。校驗位可以通過數據位異或計算出來。
應用例子：單片機串口通訊有一模式就是8位數據通訊，另加第9位用於放校驗值。
bcc異或校驗法(block check character)
實現方法：很多基於串口的通訊都用這種既簡單又相當准確的方法賀李。它就是把所有數據都和一個指定的初始值（通常是0）異或一次，最後的結果就是校驗值，通常把它附在通訊數據的最後一起發送出去。接收方收到數據後自己也計算一次異或和校驗值，如果和收到的校驗值一致就說明收到的數據是完整的。
校驗值計算的代碼類似於：
unsigned uCRC=0;//校驗初始值
for(int i=0;i<DataLenth;i++) uCRC^=Data[i];
適用范圍：適用於大多數要求不高的數據通訊。
應用例子：ic卡介面通訊、很多單片機系統的串口通訊都使用。 (Cyclic Rendancy Check)
實現方法：這是利用除法及余數的原理來進行錯誤檢測的.將接收到的碼組進行除法運算，如果除盡，則說明傳輸無誤；如果未除盡，則表明傳輸出現差錯。crc校驗具還有自動糾錯能力。
crc檢驗主要有計演算法和查表法兩種方法，網上很多實現代碼。
適用范圍：CRC-12碼通常用來傳送6-bit字元串;CRC-16及CRC-CCITT碼則用是來傳送8-bit字元。CRC-32：硬碟數據，網路傳輸等。
應用例子：rar,乙太網卡晶元、MPEG解碼晶元中 實現方法：主要有md5和des演算法。
適用范圍：數據比較大或要求比較高的場合。如md5用於大量數據、文件校驗，des用於保
密數據的校驗（數字簽名）等等。
應用例子：文件校驗、銀行系統的交易數據
Ⅲ 數據成果的檢驗
數據成果是分等成果在數據表格上的聚合，具有結構復雜、記錄數多、涵蓋面廣的特點。數據成果有嚴格的數量特徵要求，是圖件成果承載的空間及描述特徵信息的基礎襪漏和補充。數據成果檢驗的主要內容分為基本情況、指標體系及權重、分等相關參數、系數成果、分等指數成果、等面積和標准樣地。主要採用專家經驗法、實地校驗法、查閱文獻資料法、野外施測驗證法、相關分析法和回歸分析法等方法。
（一）綜合分析驗證
對數據成果中的基本情況、指標體系及權重、分等相關參數、系數成果等採用綜合分析驗證，即先通過查閱文獻資料，咨詢農業部門專家，檢驗其合理性，再通過實地校驗及專家驗證，最終達到數據的可靠。
（二）野棚緩外實測驗證
野外實地驗證著重檢查分等各參數和階段性成果與實際相符的程度。自查工作人員按照農用地分等成果檢查內容進行實地核查，主要是針對分等指數的檢驗。
在所有分等單元中隨機抽取不超過總數 5％的單元進行野外實測，將實測結果與計算結果進行比較。如果與實際不符的單元數小於抽取單元總數的 5％，則認為計算結果總體上合格，但應對不合格單元的相應內容進行校正；如果大於 5％，則應按工作步驟進行全面核查、校正。
以九龍坡區為例，在所有分等單元中抽取 144 個單元，佔分等單元總數的 6％，進行野外實測，以標准樣地為標准，根據主觀判斷確定農用地的等別。對野外實測等別結果和計算出來的分等結果進行兩個獨立樣本的檢驗，所得的相關系數為 0.84，故可以認為這兩種分等結果無顯著性的差異，分等成果總體上合格。
表 3-29 隨機抽取的野外實測分等單元的分布狀況表
（三）相關分析和回歸分析
回歸分析一般是假定因變數為正態分布的隨機變數，而自變數為無概率分布的非隨機變數。因此，在作回歸分析之前必須對每一個數據做正態檢驗。最直觀的正態檢鏈好模驗就是 P-P 概率圖。P-P 概率圖是根據變數的累積比例對所指定的理論分布積累比例繪制的圖形，它是一種直觀的探查樣本數據是否與某個概率分的統計圖形相一致的方法，如果被檢驗的數據符合所指定的分布，則代表樣本數據的點簇在一條直線上。以九龍坡區為例，其結果見圖 3-31。
圖3-31 重慶市九龍坡區樣點利用等指數P－P概率圖
1. 相關分析
相關分析是回歸分析的前提條件，只有兩變數間存在顯著相關性時回歸分析才有意義。因此，進行回歸分析之前先進行相關分析。下面以九龍坡區標准糧產量和利用等指數為例，利用 SPSS11.5 對兩變數作顯著性檢驗，結果見表 3-30，標准糧產量與利用等指數的相關性達到顯著水平。
表 3-30 重慶市九龍坡區標准糧產量與利用等指數相關性分析表
** 說明在 0.01 的顯著性水平下的雙尾驗證為顯著性相關。
2. 回歸分析
回歸分析可以採用線性或非線性回歸方法，在分析過程中從不同角度、不同側面做出合理的解釋。同樣以九龍坡區為例，以標准糧產量作縱軸，利用等指數作橫軸，進行線性回歸分析，如圖 3-32。對回歸分析作 F 檢驗，結果見表 3-31。
圖3-32 重慶市九龍坡區標准糧產量與利用等指數相關關系圖
表 3-31 重慶市九龍坡區回歸分析 F 檢驗表
Ⅳ 如何在資料庫中校驗數據
declare @str varchar(20) --定義一個變數，派埋數用來接收你傳塵首入的液正值
set @str = 'email'
if((select name from tb where name= @str) is not null)
print 1
else
print 0
Ⅳ excel怎樣數據校驗
建一輔助表格，4列，或5列。1 序號 名稱 A表 B表 校驗結果 開始校驗（按鈕）2 1 表名 SHEET1 SHEET2 不同3 2 對比項 單元格名 單元格名 相同4 3 對比項 單元格名 單元格名 不同5 … … … …編一個宏，從輔助表格中取數據進行對比。將需要對比校驗的數據列於輔助表格中。可根據需要增設其他參數。邊上建一按鈕（如開始校驗），點擊時運行宏。還可以在旁邊區域設置顯示結果輸出。
Ⅵ 常用數據校驗方法有哪些
奇偶校驗」。內存中最小的單位是比特，也稱為「位」，位有隻有兩種狀態分別以1和0來標示，每8個連續的比特叫做一個位元組（byte）。不帶奇偶校驗的內存每個位元組只有8位，如果其某一位存儲了錯誤的值，就會導致其存儲的相應數據發生變化，進而導致應用程序發生錯誤。而奇偶校驗就是在每一位元組（8位）之外又增加了一位作為錯誤檢測位。在某位元組中存儲數據之後，在其8個位上存儲的數據是固定的，因為位只能有兩種狀態1或0，假設存儲的數據用位標示為1、1、 1、0、0、1、0、1，那麼把每個位相加（1＋1＋1＋0＋0＋1＋0＋1＝5），結果是奇數，那麼在校驗位定義為1，反之為0。當CPU讀取存儲的數據時，它會再次把前8位中存儲的數據相加，計算結果是否與校驗位相一致。從而一定程度上能檢測出內存錯誤，奇偶校驗只能檢測出錯誤而無法對其進行修正，同時雖然雙位同時發生錯誤的概率相當低，但奇偶校驗卻無法檢測出雙位錯誤。
MD5的全稱是Message-Digest Algorithm 5，在90年或陸尺代初由MIT的計算機科學實驗室和RSA Data Security Inc 發明，由 MD2/MD3/MD4 發展而來的。MD5的實際應用是對一段Message(位元組串)產生fingerprint(指紋)，可以防止被「篡改」。舉個例子，天天安全網提供下載的MD5校驗值軟體WinMD5.zip，其MD5值是，但你下載該軟體後計算MD5 發現其值卻是，那說明該ZIP已經被他人修改過，那還用衫高不用該軟體那你可自己琢磨著看啦。
MD5廣泛用於加密和解密技術上，在很多操作系統中，用戶的密碼是以MD5值（或類似的其它演算法）的方式保存的，用戶Login的時候，系統是把用戶輸入的密碼計算成MD5值，然後再去和系統中保存的MD5值進行比較，來驗證該用戶的合法性。
MD5校驗值軟體WinMD5.zip漢化版，使用極其簡單，運行該軟體後，把需要計算MD5值的文件用滑鼠拖到正在處理的框里邊，下面將直接顯示其MD5值以及所測試的文件名稱，可以保留多個文件測試的MD5值，選定所需要復制的MD5值，用CTRL+C就可以復制到其它地方了。
參考資料：http://..com/question/3933661.html
CRC演算法原理及C語言實現 －來自（我愛單片機）
摘 要 本文從理論上推導出CRC演算法實現原理，給出三種分別適應不同計算機或微控制器硬體環境的C語言程序。讀者更能根據本演算法原理，用不同的語言編寫出獨特風格更加悉州實用的CRC計算程序。
關鍵詞 CRC 演算法 C語言
1 引言
循環冗餘碼CRC檢驗技術廣泛應用於測控及通信領域。CRC計算可以靠專用的硬體來實現，但是對於低成本的微控制器系統，在沒有硬體支持下實現CRC檢驗，關鍵的問題就是如何通過軟體來完成CRC計算，也就是CRC演算法的問題。
這里將提供三種演算法，它們稍有不同，一種適用於程序空間十分苛刻但CRC計算速度要求不高的微控制器系統，另一種適用於程序空間較大且CRC計算速度要求較高的計算機或微控制器系統，最後一種是適用於程序空間不太大，且CRC計算速度又不可以太慢的微控制器系統。
2 CRC簡介
CRC 校驗的基本思想是利用線性編碼理論，在發送端根據要傳送的k位二進制碼序列，以一定的規則產生一個校驗用的監督碼（既CRC碼）r位，並附在信息後邊，構成一個新的二進制碼序列數共(k+r)位，最後發送出去。在接收端，則根據信息碼和CRC碼之間所遵循的規則進行檢驗，以確定傳送中是否出錯。
16位的CRC碼產生的規則是先將要發送的二進制序列數左移16位（既乘以 ）後，再除以一個多項式，最後所得到的余數既是CRC碼，如式（2-1）式所示，其中B(X)表示n位的二進制序列數，G(X)為多項式，Q(X)為整數，R(X)是余數（既CRC碼）。
（2-1）
求CRC 碼所採用模2加減運演算法則，既是不帶進位和借位的按位加減，這種加減運算實際上就是邏輯上的異或運算，加法和減法等價，乘法和除法運算與普通代數式的乘除法運算是一樣，符合同樣的規律。生成CRC碼的多項式如下，其中CRC-16和CRC-CCITT產生16位的CRC碼，而CRC-32則產生的是32位的CRC碼。本文不討論32位的CRC演算法，有興趣的朋友可以根據本文的思路自己去推導計算方法。
CRC-16：（美國二進制同步系統中採用）
CRC-CCITT：（由歐洲CCITT推薦）
CRC-32：
接收方將接收到的二進制序列數（包括信息碼和CRC碼）除以多項式，如果余數為0，則說明傳輸中無錯誤發生，否則說明傳輸有誤，關於其原理這里不再多述。用軟體計算CRC碼時，接收方可以將接收到的信息碼求CRC碼，比較結果和接收到的CRC碼是否相同。
3 按位計算CRC
對於一個二進制序列數可以表示為式(3-1):
(3-1)
求此二進制序列數的CRC碼時，先乘以 後（既左移16位），再除以多項式G(X)，所得的余數既是所要求的CRC碼。如式(3-2)所示：
(3-2)
可以設： (3-3)
其中 為整數， 為16位二進制余數。將式(3-3)代入式(3-2)得：
(3-4)
再設： (3-5)
其中 為整數， 為16位二進制余數，將式(3-5)代入式(3-4)，如上類推，最後得到：
(3-6)
根據CRC的定義，很顯然，十六位二進制數 既是我們要求的CRC碼。
式(3 -5)是編程計算CRC的關鍵，它說明計算本位後的CRC碼等於上一位CRC碼乘以2後除以多項式，所得的余數再加上本位值除以多項式所得的余數。由此不難理解下面求CRC碼的C語言程序。*ptr指向發送緩沖區的首位元組，len是要發送的總位元組數，0x1021與多項式有關。
[code]
unsigned int cal_crc(unsigned char *ptr, unsigned char len) {
unsigned char i;
unsigned int crc=0;
while(len--!=0) {
for(i=0x80; i!=0; i/=2) {
if((crc&0x8000)!=0) {crc*=2; crc^=0x1021;} /* 余式CRC乘以2再求CRC */
else crc*=2;
if((*ptr&i)!=0) crc^=0x1021; /* 再加上本位的CRC */
}
ptr++;
}
return(crc);
}
[code]
按位計算CRC雖然代碼簡單，所佔用的內存比較少，但其最大的缺點就是一位一位地計算會佔用很多的處理器處理時間，尤其在高速通訊的場合，這個缺點更是不可容忍。因此下面再介紹一種按位元組查錶快速計算CRC的方法。
4 按位元組計算CRC
不難理解，對於一個二進制序列數可以按位元組表示為式(4-1)，其中 為一個位元組(共8位)。
(4-1)
求此二進制序列數的CRC碼時，先乘以 後（既左移16位），再除以多項式G(X)，所得的余數既是所要求的CRC碼。如式(4-2)所示：
（4-2）
可以設： (4-3)
其中 為整數， 為16位二進制余數。將式(4-3)代入式(4-2)得：
（4-4）
因為：
（4-5）
其中 是 的高八位， 是 的低八位。將式（4-5）代入式（4-4），經整理後得：
（4-6）
再設： (4-7)
其中 為整數， 為16位二進制余數。將式(4-7)代入式(4-6)，如上類推，最後得：
(4-
很顯然，十六位二進制數 既是我們要求的CRC碼。
式(4 -7)是編寫按位元組計算CRC程序的關鍵，它說明計算本位元組後的CRC碼等於上一位元組余式CRC碼的低8位左移8位後，再加上上一位元組CRC右移8位（也既取高8位）和本位元組之和後所求得的CRC碼，如果我們把8位二進制序列數的CRC全部計算出來，放如一個表裡，採用查表法，可以大大提高計算速度。由此不難理解下面按位元組求CRC碼的C語言程序。*ptr指向發送緩沖區的首位元組，len是要發送的總位元組數，CRC余式表是按0x11021多項式求出的。
[code]
unsigned int cal_crc(unsigned char *ptr, unsigned char len) {
unsigned int crc;
unsigned char da;
unsigned int crc_ta[256]={ /* CRC余式表 */
0x0000, 0x1021, 0x2042, 0x3063, 0x4084, 0x50a5, 0x60c6, 0x70e7,
0x8108, 0x9129, 0xa14a, 0xb16b, 0xc18c, 0xd1ad, 0xe1ce, 0xf1ef,
0x 1231, 0x0210, 0x3273, 0x2252, 0x52b5, 0x4294, 0x72f7, 0x62d6,
0x9339, 0x8318, 0xb37b, 0xa35a, 0xd3bd, 0xc39c, 0xf3ff, 0xe3de,
0x2462, 0x3443, 0x0420, 0x1401, 0x64e6, 0x74c7, 0x44a4, 0x5485,
0xa56a, 0xb54b, 0x8528, 0x9509, 0xe5ee, 0xf5cf, 0xc5ac, 0xd58d,
0x3653, 0x2672, 0x1611, 0x0630, 0x76d7, 0x66f6, 0x5695, 0x46b4,
0xb75b, 0xa77a, 0x9719, 0x8738, 0xf7df, 0xe7fe, 0xd79d, 0xc7bc,
0x48c4, 0x58e5, 0x6886, 0x78a7, 0x0840, 0x1861, 0x2802, 0x3823,
0xc9cc, 0xd9ed, 0xe98e, 0xf9af, 0x8948, 0x9969, 0xa90a, 0xb92b,
0x5af5, 0x4ad4, 0x7ab7, 0x6a96, 0x1a71, 0x0a50, 0x3a33, 0x2a12,
0xdbfd, 0xcbdc, 0xfbbf, 0xeb9e, 0x9b79, 0x8b58, 0xbb3b, 0xab1a,
0x6ca6, 0x7c87, 0x4ce4, 0x5cc5, 0x2c22, 0x3c03, 0x0c60, 0x1c41,
0xedae, 0xfd8f, 0xcdec, 0xddcd, 0xad2a, 0xbd0b, 0x8d68, 0x9d49,
0x7e97, 0x6eb6, 0x5ed5, 0x4ef4, 0x3e13, 0x2e32, 0x1e51, 0x0e70,
0xff9f, 0xefbe, 0xdfdd, 0xcffc, 0xbf1b, 0xaf3a, 0x9f59, 0x8f78,
0x9188, 0x81a9, 0xb1ca, 0xa1eb, 0xd10c, 0xc12d, 0xf14e, 0xe16f,
0x1080, 0x00a1, 0x30c2, 0x20e3, 0x5004, 0x4025, 0x7046, 0x6067,
0x83b9, 0x9398, 0xa3fb, 0xb3da, 0xc33d, 0xd31c, 0xe37f, 0xf35e,
0x02b1, 0x1290, 0x22f3, 0x32d2, 0x4235, 0x5214, 0x6277, 0x7256,
0xb5ea, 0xa5cb, 0x95a8, 0x8589, 0xf56e, 0xe54f, 0xd52c, 0xc50d,
0x34e2, 0x24c3, 0x14a0, 0x0481, 0x7466, 0x6447, 0x5424, 0x4405,
0xa7db, 0xb7fa, 0x8799, 0x97b8, 0xe75f, 0xf77e, 0xc71d, 0xd73c,
0x26d3, 0x36f2, 0x0691, 0x16b0, 0x6657, 0x7676, 0x4615, 0x5634,
0xd94c, 0xc96d, 0xf90e, 0xe92f, 0x99c8, 0x89e9, 0xb98a, 0xa9ab,
0x5844, 0x4865, 0x7806, 0x6827, 0x18c0, 0x08e1, 0x3882, 0x28a3,
0xcb7d, 0xdb5c, 0xeb3f, 0xfb1e, 0x8bf9, 0x9bd8, 0xabbb, 0xbb9a,
0x4a75, 0x5a54, 0x6a37, 0x7a16, 0x0af1, 0x1ad0, 0x2ab3, 0x3a92,
0xfd2e, 0xed0f, 0xdd6c, 0xcd4d, 0xbdaa, 0xad8b, 0x9de8, 0x8dc9,
0x7c26, 0x6c07, 0x5c64, 0x4c45, 0x3ca2, 0x2c83, 0x1ce0, 0x0cc1,
0xef1f, 0xff3e, 0xcf5d, 0xdf7c, 0xaf9b, 0xbfba, 0x8fd9, 0x9ff8,
0x6e17, 0x7e36, 0x4e55, 0x5e74, 0x2e93, 0x3eb2, 0x0ed1, 0x1ef0
};
crc=0;
while(len--!=0) {
da=(uchar) (crc/256); /* 以8位二進制數的形式暫存CRC的高8位 */
crc<<=8; /* 左移8位，相當於CRC的低8位乘以 */
crc^=crc_ta[da^*ptr]; /* 高8位和當前位元組相加後再查表求CRC ，再加上以前的CRC */
ptr++;
}
return(crc);
}
很顯然，按位元組求CRC時，由於採用了查表法，大大提高了計算速度。但對於廣泛運用的8位微處理器，代碼空間有限，對於要求256個CRC余式表（共512位元組的內存）已經顯得捉襟見肘了，但CRC的計算速度又不可以太慢，因此再介紹下面一種按半位元組求CRC的演算法。
5 按半位元組計算CRC
同樣道理，對於一個二進制序列數可以按位元組表示為式(5-1)，其中 為半個位元組(共4位)。
(5-1)
求此二進制序列數的CRC碼時，先乘以 後（既左移16位），再除以多項式G(X)，所得的余數既是所要求的CRC碼。如式(4-2)所示：
（5-2）
可以設： (5-3)
其中 為整數， 為16位二進制余數。將式(5-3)代入式(5-2)得：
（5-4）
因為：
（5-5）
其中 是 的高4位， 是 的低12位。將式（5-5）代入式（5-4），經整理後得：
（5-6）
再設： (5-7)
其中 為整數， 為16位二進制余數。將式(5-7)代入式(5-6)，如上類推，最後得：
(5-
很顯然，十六位二進制數 既是我們要求的CRC碼。
式(5 -7)是編寫按位元組計算CRC程序的關鍵，它說明計算本位元組後的CRC碼等於上一位元組CRC碼的低12位左移4位後，再加上上一位元組余式CRC右移4位（也既取高4位）和本位元組之和後所求得的CRC碼，如果我們把4位二進制序列數的CRC全部計算出來，放在一個表裡，採用查表法，每個位元組算兩次（半位元組算一次），可以在速度和內存空間取得均衡。由此不難理解下面按半位元組求CRC碼的C語言程序。*ptr指向發送緩沖區的首位元組，len是要發送的總位元組數，CRC余式表是按0x11021多項式求出的。
unsigned cal_crc(unsigned char *ptr, unsigned char len) {
unsigned int crc;
unsigned char da;
unsigned int crc_ta[16]={ /* CRC余式表 */
0x0000,0x1021,0x2042,0x3063,0x4084,0x50a5,0x60c6,0x70e7,
0x8108,0x9129,0xa14a,0xb16b,0xc18c,0xd1ad,0xe1ce,0xf1ef,
}
crc=0;
while(len--!=0) {
da=((uchar)(crc/256))/16; /* 暫存CRC的高四位 */
crc<<=4; /* CRC右移4位，相當於取CRC的低12位）*/
crc^=crc_ta[da^(*ptr/16)]; /* CRC的高4位和本位元組的前半位元組相加後查表計算CRC，
然後加上上一次CRC的余數 */
da=((uchar)(crc/256))/16; /* 暫存CRC的高4位 */
crc<<=4; /* CRC右移4位， 相當於CRC的低12位） */
crc^=crc_ta[da^(*ptr&0x0f)]; /* CRC的高4位和本位元組的後半位元組相加後查表計算CRC，
然後再加上上一次CRC的余數 */
ptr++;
}
return(crc);
}
[code]
5 結束語
以上介紹的三種求CRC的程序，按位求法速度較慢，但佔用最小的內存空間；按位元組查表求CRC的方法速度較快，但佔用較大的內存；按半位元組查表求CRC的方法是前兩者的均衡，即不會佔用太多的內存，同時速度又不至於太慢，比較適合8位小內存的單片機的應用場合。以上所給的C程序可以根據各微處理器編譯器的特點作相應的改變，比如把CRC余式表放到程序存儲區內等。[/code]
hjzgq 回復於：2003-05-15 14:12:51
CRC32演算法學習筆記以及如何用java實現 出自：csdn bootcool 2002年10月19日 23:11 CRC32演算法學習筆記以及如何用java實現
CRC32演算法學習筆記以及如何用java實現
一：說明
論壇上關於CRC32校驗演算法的詳細介紹不多。前幾天偶爾看到Ross N. Williams的文章，總算把CRC32演算法的來龍去脈搞清楚了。本來想把原文翻譯出來，但是時間參促，只好把自己的一些學習心得寫出。這樣大家可以更快的了解CRC32的主要思想。由於水平有限，還懇請大家指正。原文可以訪問：http://www.repairfaq.org/filipg/LINK/F_crc_v31.html 。
二：基本概念及相關介紹
2．1 什麼是CRC
在遠距離數據通信中，為確保高效而無差錯地傳送數據，必須對數據進行校驗即差錯控制。循環冗餘校驗CRC(Cyclic Rendancy Check/Code)是對一個傳送數據塊進行校驗，是一種高效的差錯控制方法。
CRC校驗採用多項式編碼方法。多項式乘除法運算過程與普通代數多項式的乘除法相同。多項式的加減法運算以2為模，加減時不進，錯位，如同邏輯異或運算。
2．2 CRC的運算規則
CRC加法運算規則：0+0=0
0+1=1
1+0=1
1+1=0 (注意：沒有進位)
CRC減法運算規則：
0-0=0
0-1=1
1-0=1
1-1=0
CRC乘法運算規則：
0*0=0
0*1=0
1*0=0
1*1=1
CRC除法運算規則：
1100001010 (注意:我們並不關心商是多少。)
_______________
10011 11010110110000
10011,,.,,....
-----,,.,,....
10011,.,,....
10011,.,,....
-----,.,,....
00001.,,....
00000.,,....
-----.,,....
00010,,....
00000,,....
-----,,....
00101,....
00000,....
-----,....
01011....
00000....
-----....
10110...
10011...
-----...
01010..
00000..
-----..
10100.
10011.
-----.
01110
00000
-----
1110 = 余數
2．3 如何生成CRC校驗碼
(1) 設G(X)為W階，在數據塊末尾添加W個0，使數據塊為M+ W位，則相應的多項式為XrM(X)；
(2) 以2為模，用對應於G(X)的位串去除對應於XrM(X)的位串，求得余數位串；
(3) 以2為模，從對應於XrM(X)的位串中減去余數位串，結果就是為數據塊生成的帶足夠校驗信息的CRC校驗碼位串。
2．4 可能我們會問那如何選擇G(x)
可以說選擇G(x)不是一件很容易的事。一般我們都使用已經被大量的數據，時間檢驗過的，正確的，高效的，生成多項式。一般有以下這些：
16 bits: (16,12,5,0) [X25 standard]
(16,15,2,0) ["CRC-16"]
32 bits: (32,26,23,22,16,12,11,10,8,7,5,4,2,1,0) [Ethernet]
三: 如何用軟體實現CRC演算法
現在我們主要問題就是如何實現CRC校驗，編碼和解碼。用硬體實現目前是不可能的，我們主要考慮用軟體實現的方法。
以下是對作者的原文的翻譯：
我們假設有一個4 bits的寄存器，通過反復的移位和進行CRC的除法，最終該寄存器中的值就是我們所要求的余數。
3 2 1 0 Bits
+---+---+---+---+
Pop <-- | | | | | <----- Augmented message（已加0擴張的原始數據）
+---+---+---+---+
1 0 1 1 1 = The Poly
(注意: The augmented message is the message followed by W zero bits.)
依據這個模型，我們得到了一個最最簡單的演算法：
把register中的值置0.
把原始的數據後添加r個0.
While (還有剩餘沒有處理的數據)
Begin
把register中的值左移一位，讀入一個新的數據並置於register的0 bit的位置。
If (如果上一步的左移操作中的移出的一位是1)
register = register XOR Poly.
End
現在的register中的值就是我們要求的crc余數。
我的學習筆記：
可為什麼要這樣作呢？我們從下面的實例來說明：
1100001010
_______________
10011 11010110110000
10011,,.,,....
-----,,.,,....
－》 10011,.,,....
10011,.,,....
-----,.,,....
－》 00001.,,....
00000.,,....
-----.,,....
00010,,....
00000,,....
-----,,....
00101,....
00000,....
我們知道G(x)的最高位一定是1，而商1還是商0是由被除數的最高位決定的。而我們並不關心商究竟是多少，我們關心的是余數。例如上例中的G(x)有5 位。我們可以看到每一步作除法運算所得的余數其實就是被除數的最高位後的四位於G(x)的後四位XOR而得到的。那被除數的最高位有什麼用呢？我們從打記號的兩個不同的余數就知道原因了。當被除數的最高位是1時，商1然後把最高位以後的四位於G(x)的後四位XOR得到余數；如果最高位是0，商0然後把被除數的最高位以後的四位於G(x)的後四位XOR得到余數，而我們發現其實這個余數就是原來被除數最高位以後的四位的值。也就是說如果最高位是0就不需要作XOR的運算了。到這我們總算知道了為什麼先前要這樣建立模型，而演算法的原理也就清楚了。
以下是對作者的原文的翻譯：
可是這樣實現的演算法卻是非常的低效。為了加快它的速度，我們使它一次能處理大於4 bit的數據。也就是我們想要實現的32 bit的CRC校驗。我們還是假設有和原來一樣的一個4 "bit"的register。不過它的每一位是一個8 bit的位元組。
3 2 1 0 Bytes
+----+----+----+----+
Pop <-- | | | | | <----- Augmented message
+----+----+----+----+
1<------32 bits------> （暗含了一個最高位的「1」）
根據同樣的原理我們可以得到如下的演算法：
While (還有剩餘沒有處理的數據)
Begin
檢查register頭位元組，並取得它的值
求不同偏移處多項式的和
register左移一個位元組，最右處存入新讀入的一個位元組
把register的值和多項式的和進行XOR運算
End
我的學習筆記：
可是為什麼要這樣作呢？ 同樣我們還是以一個簡單的例子說明問題：
假設有這樣的一些值：
當前register中的值： 01001101
4 bit應該被移出的值：1011
生成多項式為： 101011100
Top Register
---- --------
1011 01001101
1010 11100 + (CRC XOR)
-------------
0001 10101101
首4 bits 不為0說明沒有除盡，要繼續除:
0001 10101101
1 01011100 + (CRC XOR)
-------------
0000 11110001
^^^^
首4 bits 全0說明不用繼續除了。
那按照演算法的意思作又會有什麼樣的結果呢？
1010 11100
1 01011100+
-------------
1011 10111100
1011 10111100
1011 01001101+
-------------
0000 11110001
現在我們看到了這樣一個事實，那就是這樣作的結果和上面的結果是一致的。這也說明了演算法中為什麼要先把多項式的值按不同的偏移值求和，然後在和 register進行異或運算的原因了。另外我們也可以看到，每一個頭位元組對應一個值。比如上例中：1011，對應01001101。那麼對於 32 bits 的CRC 頭位元組，依據我們的模型。頭8 bit就該有 2^8個，即有256個值與它對應。於是我們可以預先建立一個表然後，編碼時只要取出輸入數據的頭一個位元組然後從表中查找對應的值即可。這樣就可以大大提高編碼的速度了。
+----+----+----+----+
+-----< | | | | | <----- Augmented message
| +----+----+----+----+
| ^
| |
| XOR
| |
| 0+----+----+----+----+
v +----+----+----+----+
| +----+----+----+----+
| +----+----+----+----+
| +----+----+----+----+
| +----+----+----+----+
| +----+----+----+----+
+-----> +----+----+----+----+
+----+----+----+----+
+----+----+----+----+
+----+----+----+----+
+----+----+----+----+
255+----+----+----+----+
以下是對作者的原文的翻譯：
上面的演算法可以進一步優化為：
1：register左移一個位元組,從原始數據中讀入一個新的位元組.
2：利用剛從register移出的位元組作為下標定位 table 中的一個32位的值
3：把這個值XOR到register中。
4：如果還有未處理的數據則回到第一步繼續執行。
用C可以寫成這樣：
r=0;
while (len--)
r = ((r << | p*++) ^ t[(r >> 24) & 0xFF];
可是這一演算法是針對已經用0擴展了的原始數據而言的。所以最後還要加入這樣的一個循環，把W個0加入原始數據。
我的學習筆記：
注意不是在預處理時先加入W個0，而是在上面演算法描述的循環後加入這樣的處理。
for (i=0; i<W/4; i++)
r = (r << ^ t[(r >> 24) & 0xFF];
所以是W/4是因為若有W個0，因為我們以位元組（8位）為單位的，所以是W/4個0 位元組。注意不是循環w/8次
以下是對作者的原文的翻譯：
1：對於尾部的w/4個0位元組，事實上它們的作用只是確保所有的原始數據都已被送入register，並且被演算法處理。
2：如果register中的初始值是0，那麼開始的4次循環，作用只是把原始數據的頭4個位元組送入寄存器。（這要結合table表的生成來看）。就算 register的初始值不是0，開始的4次循環也只是把原始數據的頭4個位元組把它們和register的一些常量XOR，然後送入register中。
3A xor B) xor C = A xor (B xor C)
總上所述，原來的演算法可以改為:
+-----<Message (non augmented)
|
v 3 2 1 0 Bytes
| +----+----+----+----+
XOR----<| | | | |
| +----+----+----+----+
| ^
| |
| XOR
| |
| 0+----+----+----+----+
v +----+----+----+----+
| +----+----+----+----+
| +----+----+----+----+
| +----+----+----+----+
| +----+----+----+----+
| +----+----+----+----+
+----->+----+----+----+----+
+----+----+----+----+
+----+----+----+----+
+----+----+----+----+
+----+----+----+----+
255+----+----+----+----+
演算法：
1：register左移一個位元組,從原始數據中讀入一個新的位元組.
2：利用剛從register移出的位元組和讀入的新位元組XOR從而產生定位下標，從table中取得相應的值。
3：把該值XOR到register中
4：如果還有未處理的數據則回到第一步繼續執行。
我的學習筆記：
對這一演算法我還是不太清楚，或許和XOR的性質有關，懇請大家指出為什麼？
謝謝。
到這，我們對CRC32的演算法原理和思想已經基本搞清了。下章，我想著重根據演算法思想用java語言實現。
hjzgq 回復於：2003-05-15 14:14:51
數學演算法一向都是密碼加密的核心，但在一般的軟路加密中，它似乎並不太為人們所關心，因為大多數時候軟體加密本身實現的都是一種編程上的技巧。但近幾年來隨著序列號加密程序的普及，數學演算法在軟體加密中的比重似乎是越來越大了。
我們先來看看在網路上大行其道的序列號加密的工作原理。當用戶從網路上下載某個Shareware -- 共享軟體後，一般都有使用時間上的限制，當過了共享軟體的試用期後，你必須到這個軟體的公司去注冊後方能繼續使用。注冊過程一般是用戶把自己的私人信息（一般主要指名字）連同信用卡號碼告訴給軟體公司，軟體公司會根據用戶的信息計算出一個序列碼出來，在用戶得到這個序列碼後，按照注冊需要的步驟在軟體中輸入注冊信息和注冊碼，其注冊信息的合法性由軟體驗證通過後，軟體就會取消掉本身的各種限制。這種加密實現起來比較簡單，不需要額外的成本，用戶購買也非常方便，在網上的軟體80%都是以這種方式來保護的。
我們可以注意到軟體驗證序列號的合法性過程，其實就是驗證用戶名與序列號之間的換算關系是否正確的過程。其驗證最基本的有兩種，一種是按用戶輸入的姓名來生成注冊碼，再同用戶輸入的注冊碼相比較，公式表示如下：
序列號 = F(用戶名稱)
Ⅶ 技術分享 | 兩個單機 MySQL 該如何校驗數據一致性
業務有兩個 MySQL 集群是通過 MQ 進行同步的，昨晚 MQ 出現異常，報了很多主鍵沖突，想請 dba 幫忙校驗一下兩個集群的數據是否一致。
當接到這個需求的時候並沒當回事，隱約有點印象 pt-table-checksum 能通過 dsn 實現 MySQL 的數據校驗，所以當時就應承下來了。不曾想，啪啪打臉，回想起來真是草率了。
本文參考的是 pt-table-checksum 的校驗邏輯，基於數據塊去遍歷每個表，然後比對 checksum 的值判斷該塊是否一致，本文主要是猛嘩銷想聊聊我在實現數據校驗腳本過程中遇到的問題蘆老以及解決思路，希望對大家有幫助。
利用線上的配置文件搭建一套主從環境。
這個用例將通過 dsn 方式連接從庫。
這個用例將通過 dsn 方式連接從庫，但是會將從庫的復制鏈路 stop 掉，並清空復制信息。
熟悉 pt-table-checksum 的朋友應該都知道，該工具是基於主鍵(非空唯一鍵)進行掃描數據行，其實這個邏輯針對整型單列主鍵實現起來很簡單，但是如果是聯合主鍵且是字元型，好像就沒那麼簡單了，有興趣的可以思考一下。下面我先說一下大致的邏輯：
第一步：枝游判斷 _min_rowid 是否為空，為空就取該表的第一行，並記作 _min_rowid 。
第二步：根據 _min_rowid 作為條件進行掃描該表，取下一個數據塊的數據，記錄數據塊的最後一行數據的主鍵值，記錄 checksum 的值，並記下 _min_rowid 。
第三步：判斷_min_rowid是否為空，非空重復第二步，為空退出檢查。
通過上述三個步驟可以看到，如果是單列整型的主鍵，實現起來很簡單，但是問題來了，業務的表的主鍵五花八門，有的是聯合主鍵，有的是字元型的聯合主鍵，還有整型+字元型的聯合主鍵，那麼上述的實現方式顯然是有問題的。所以實現起來需要多考慮幾個問題：
鑒於存在上述兩個問題，可以參考如下實現邏輯：
假如有這么一個聯合主鍵欄位 primary key(a,b,c) 都是整型，該如何編寫遍歷 sql 呢？起初我的想法很簡單，具體如下：
至此在編寫校驗腳本過程遇到的兩個問題就算告一段落了，剩下的就是各種邏輯處理了，不過多贅述，有興趣的可以自行閱讀腳本文件。
本著最低程度影響業務，所以取消加鎖邏輯。但是又要保證該數據塊的數據一致性，如果這個數據塊是個熱數據，當前正在變更，那麼校驗的時候難免會不一致。所以只能通過多次校驗實現，默認是校驗20次，其中有一次校驗結果是一致，就認為是一致的，如果前5次校驗過程中，這個數據塊的數據沒有變化，也視為不一致（可能是因為延遲，也可能是真的不一致）。
pt-table-checksum 不校驗表結構，改寫時添加表結構的校驗。
可以基於表的並行校驗，可由用戶指定並行數，但是腳本有個安全機制，如果用戶指定的並行數大於當前 cpu 空閑核心數，就會按當前（空閑核心數-1）作為並行數。
添加網路監控，由用戶指定網路上限百分比，當網卡流量超過這個百分比就暫停任務，等待網卡流量低於閾值才會繼續任務。這個主要是出於對於中間件（mycat）的場景或者分布式資料庫（tidb）的場景。
支持定時任務功能，用戶可以使用這個功能規避業務高峰，僅在業務低峰進行數據校驗。
不僅限於主從節點的校驗，只要目標對象支持 MySQL 的標准 SQL 語法就能做數據校驗。
校驗邏輯是通過 SQL 採集目標節點的資料庫，如果目標資料庫系統當前存在異常，無疑是雪上加霜，將會觸發未知問題，所以添加超時機制，單次取數據塊的閾值是5s，超過5秒就放棄等待重試。測試發現，有時候即便觸發超時了，但是 SQL 任務還是會在目標資料庫的 processlist 中能看到，所以又添加了一個 kill 機制，超時後會觸發一個 kill processlist id 的動作。另外為了避免 kill 錯，在每個 SQL 對象添加了一個32位的 md5 值，每次 kill 的時候會校驗這個 md5 值。
本工具借鑒 pt-table-checksum 工具思路改寫，可以檢查隨意兩個 mysql（支持 mysql sql 語法的資料庫）節點的數據一致性。
基於主鍵以一個塊遍歷數據表，比對checksum的值，塊的大小可通過參數指定。 （1）獲取該表的第一個數據塊的查詢SQL。 （2）將兩個目標節點的數據塊的checksum的值，記錄到臨時文件，file1 file2。 （3）比對file1 file2是否一致。
第一步：先開啟一個 screen 監控網路
第二步：新開啟一個screen執行校驗任務
（1）info.log 文件
（2）list目錄
（3）md5 目錄
（4）pri 目錄
（5）res 目錄
這是 table 目錄下記錄某個數據塊不一致的一個例子
這是 diff 目錄下記錄某個數據行不一致的一個例子
（6）skip.log 文件
本工具是參考了 pt-table-checksum 工具的一些思路並結合自身經驗進行改寫，尚有很多不足之處，僅做學習交流之用， 如有線上環境使用需求，請在測試環境充分測試。