1 #if defined(__arm__) 2 3 @ ==================================================================== 4 @ Written by Andy Polyakov <appro@openssl.org> for the OpenSSL 5 @ project. The module is, however, dual licensed under OpenSSL and 6 @ CRYPTOGAMS licenses depending on where you obtain it. For further 7 @ details see http://www.openssl.org/~appro/cryptogams/. 8 @ 9 @ Specific modes and adaptation for Linux kernel by Ard Biesheuvel 10 @ <ard.biesheuvel@linaro.org>. Permission to use under GPL terms is 11 @ granted. 12 @ ==================================================================== 13 14 @ Bit-sliced AES for ARM NEON 15 @ 16 @ February 2012. 17 @ 18 @ This implementation is direct adaptation of bsaes-x86_64 module for 19 @ ARM NEON. Except that this module is endian-neutral [in sense that 20 @ it can be compiled for either endianness] by courtesy of vld1.8's 21 @ neutrality. Initial version doesn't implement interface to OpenSSL, 22 @ only low-level primitives and unsupported entry points, just enough 23 @ to collect performance results, which for Cortex-A8 core are: 24 @ 25 @ encrypt 19.5 cycles per byte processed with 128-bit key 26 @ decrypt 22.1 cycles per byte processed with 128-bit key 27 @ key conv. 440 cycles per 128-bit key/0.18 of 8x block 28 @ 29 @ Snapdragon S4 encrypts byte in 17.6 cycles and decrypts in 19.7, 30 @ which is [much] worse than anticipated (for further details see 31 @ http://www.openssl.org/~appro/Snapdragon-S4.html). 32 @ 33 @ Cortex-A15 manages in 14.2/16.1 cycles [when integer-only code 34 @ manages in 20.0 cycles]. 35 @ 36 @ When comparing to x86_64 results keep in mind that NEON unit is 37 @ [mostly] single-issue and thus can't [fully] benefit from 38 @ instruction-level parallelism. And when comparing to aes-armv4 39 @ results keep in mind key schedule conversion overhead (see 40 @ bsaes-x86_64.pl for further details)... 41 @ 42 @ <appro (at) openssl.org> 43 44 @ April-August 2013 45 @ 46 @ Add CBC, CTR and XTS subroutines, adapt for kernel use. 47 @ 48 @ <ard.biesheuvel (at) linaro.org> 49 50 #ifndef __KERNEL__ 51 # include <openssl/arm_arch.h> 52 53 # define VFP_ABI_PUSH vstmdb sp!,{d8-d15} 54 # define VFP_ABI_POP vldmia sp!,{d8-d15} 55 # define VFP_ABI_FRAME 0x40 56 #else 57 # define VFP_ABI_PUSH 58 # define VFP_ABI_POP 59 # define VFP_ABI_FRAME 0 60 # define BSAES_ASM_EXTENDED_KEY 61 # define XTS_CHAIN_TWEAK 62 # define __ARM_ARCH__ __LINUX_ARM_ARCH__ 63 # define __ARM_MAX_ARCH__ 7 64 #endif 65 66 #ifdef __thumb__ 67 # define adrl adr 68 #endif 69 70 #if __ARM_MAX_ARCH__>=7 71 .arch armv7-a 72 .fpu neon 73 74 .text 75 .syntax unified @ ARMv7-capable assembler is expected to handle this 76 #if defined(__thumb2__) && !defined(__APPLE__) 77 .thumb 78 #else 79 .code 32 80 #endif 81 82 .type _bsaes_decrypt8,%function 83 .align 4 84 _bsaes_decrypt8: 85 adr r6,_bsaes_decrypt8 86 vldmia r4!, {q9} @ round 0 key 87 #ifdef __APPLE__ 88 adr r6,.LM0ISR 89 #else 90 add r6,r6,#.LM0ISR-_bsaes_decrypt8 91 #endif 92 93 vldmia r6!, {q8} @ .LM0ISR 94 veor q10, q0, q9 @ xor with round0 key 95 veor q11, q1, q9 96 vtbl.8 d0, {q10}, d16 97 vtbl.8 d1, {q10}, d17 98 veor q12, q2, q9 99 vtbl.8 d2, {q11}, d16 100 vtbl.8 d3, {q11}, d17 101 veor q13, q3, q9 102 vtbl.8 d4, {q12}, d16 103 vtbl.8 d5, {q12}, d17 104 veor q14, q4, q9 105 vtbl.8 d6, {q13}, d16 106 vtbl.8 d7, {q13}, d17 107 veor q15, q5, q9 108 vtbl.8 d8, {q14}, d16 109 vtbl.8 d9, {q14}, d17 110 veor q10, q6, q9 111 vtbl.8 d10, {q15}, d16 112 vtbl.8 d11, {q15}, d17 113 veor q11, q7, q9 114 vtbl.8 d12, {q10}, d16 115 vtbl.8 d13, {q10}, d17 116 vtbl.8 d14, {q11}, d16 117 vtbl.8 d15, {q11}, d17 118 vmov.i8 q8,#0x55 @ compose .LBS0 119 vmov.i8 q9,#0x33 @ compose .LBS1 120 vshr.u64 q10, q6, #1 121 vshr.u64 q11, q4, #1 122 veor q10, q10, q7 123 veor q11, q11, q5 124 vand q10, q10, q8 125 vand q11, q11, q8 126 veor q7, q7, q10 127 vshl.u64 q10, q10, #1 128 veor q5, q5, q11 129 vshl.u64 q11, q11, #1 130 veor q6, q6, q10 131 veor q4, q4, q11 132 vshr.u64 q10, q2, #1 133 vshr.u64 q11, q0, #1 134 veor q10, q10, q3 135 veor q11, q11, q1 136 vand q10, q10, q8 137 vand q11, q11, q8 138 veor q3, q3, q10 139 vshl.u64 q10, q10, #1 140 veor q1, q1, q11 141 vshl.u64 q11, q11, #1 142 veor q2, q2, q10 143 veor q0, q0, q11 144 vmov.i8 q8,#0x0f @ compose .LBS2 145 vshr.u64 q10, q5, #2 146 vshr.u64 q11, q4, #2 147 veor q10, q10, q7 148 veor q11, q11, q6 149 vand q10, q10, q9 150 vand q11, q11, q9 151 veor q7, q7, q10 152 vshl.u64 q10, q10, #2 153 veor q6, q6, q11 154 vshl.u64 q11, q11, #2 155 veor q5, q5, q10 156 veor q4, q4, q11 157 vshr.u64 q10, q1, #2 158 vshr.u64 q11, q0, #2 159 veor q10, q10, q3 160 veor q11, q11, q2 161 vand q10, q10, q9 162 vand q11, q11, q9 163 veor q3, q3, q10 164 vshl.u64 q10, q10, #2 165 veor q2, q2, q11 166 vshl.u64 q11, q11, #2 167 veor q1, q1, q10 168 veor q0, q0, q11 169 vshr.u64 q10, q3, #4 170 vshr.u64 q11, q2, #4 171 veor q10, q10, q7 172 veor q11, q11, q6 173 vand q10, q10, q8 174 vand q11, q11, q8 175 veor q7, q7, q10 176 vshl.u64 q10, q10, #4 177 veor q6, q6, q11 178 vshl.u64 q11, q11, #4 179 veor q3, q3, q10 180 veor q2, q2, q11 181 vshr.u64 q10, q1, #4 182 vshr.u64 q11, q0, #4 183 veor q10, q10, q5 184 veor q11, q11, q4 185 vand q10, q10, q8 186 vand q11, q11, q8 187 veor q5, q5, q10 188 vshl.u64 q10, q10, #4 189 veor q4, q4, q11 190 vshl.u64 q11, q11, #4 191 veor q1, q1, q10 192 veor q0, q0, q11 193 sub r5,r5,#1 194 b .Ldec_sbox 195 .align 4 196 .Ldec_loop: 197 vldmia r4!, {q8,q9,q10,q11} 198 veor q8, q8, q0 199 veor q9, q9, q1 200 vtbl.8 d0, {q8}, d24 201 vtbl.8 d1, {q8}, d25 202 vldmia r4!, {q8} 203 veor q10, q10, q2 204 vtbl.8 d2, {q9}, d24 205 vtbl.8 d3, {q9}, d25 206 vldmia r4!, {q9} 207 veor q11, q11, q3 208 vtbl.8 d4, {q10}, d24 209 vtbl.8 d5, {q10}, d25 210 vldmia r4!, {q10} 211 vtbl.8 d6, {q11}, d24 212 vtbl.8 d7, {q11}, d25 213 vldmia r4!, {q11} 214 veor q8, q8, q4 215 veor q9, q9, q5 216 vtbl.8 d8, {q8}, d24 217 vtbl.8 d9, {q8}, d25 218 veor q10, q10, q6 219 vtbl.8 d10, {q9}, d24 220 vtbl.8 d11, {q9}, d25 221 veor q11, q11, q7 222 vtbl.8 d12, {q10}, d24 223 vtbl.8 d13, {q10}, d25 224 vtbl.8 d14, {q11}, d24 225 vtbl.8 d15, {q11}, d25 226 .Ldec_sbox: 227 veor q1, q1, q4 228 veor q3, q3, q4 229 230 veor q4, q4, q7 231 veor q1, q1, q6 232 veor q2, q2, q7 233 veor q6, q6, q4 234 235 veor q0, q0, q1 236 veor q2, q2, q5 237 veor q7, q7, q6 238 veor q3, q3, q0 239 veor q5, q5, q0 240 veor q1, q1, q3 241 veor q11, q3, q0 242 veor q10, q7, q4 243 veor q9, q1, q6 244 veor q13, q4, q0 245 vmov q8, q10 246 veor q12, q5, q2 247 248 vorr q10, q10, q9 249 veor q15, q11, q8 250 vand q14, q11, q12 251 vorr q11, q11, q12 252 veor q12, q12, q9 253 vand q8, q8, q9 254 veor q9, q6, q2 255 vand q15, q15, q12 256 vand q13, q13, q9 257 veor q9, q3, q7 258 veor q12, q1, q5 259 veor q11, q11, q13 260 veor q10, q10, q13 261 vand q13, q9, q12 262 vorr q9, q9, q12 263 veor q11, q11, q15 264 veor q8, q8, q13 265 veor q10, q10, q14 266 veor q9, q9, q15 267 veor q8, q8, q14 268 vand q12, q4, q6 269 veor q9, q9, q14 270 vand q13, q0, q2 271 vand q14, q7, q1 272 vorr q15, q3, q5 273 veor q11, q11, q12 274 veor q9, q9, q14 275 veor q8, q8, q15 276 veor q10, q10, q13 277 278 @ Inv_GF16 0, 1, 2, 3, s0, s1, s2, s3 279 280 @ new smaller inversion 281 282 vand q14, q11, q9 283 vmov q12, q8 284 285 veor q13, q10, q14 286 veor q15, q8, q14 287 veor q14, q8, q14 @ q14=q15 288 289 vbsl q13, q9, q8 290 vbsl q15, q11, q10 291 veor q11, q11, q10 292 293 vbsl q12, q13, q14 294 vbsl q8, q14, q13 295 296 vand q14, q12, q15 297 veor q9, q9, q8 298 299 veor q14, q14, q11 300 veor q12, q5, q2 301 veor q8, q1, q6 302 veor q10, q15, q14 303 vand q10, q10, q5 304 veor q5, q5, q1 305 vand q11, q1, q15 306 vand q5, q5, q14 307 veor q1, q11, q10 308 veor q5, q5, q11 309 veor q15, q15, q13 310 veor q14, q14, q9 311 veor q11, q15, q14 312 veor q10, q13, q9 313 vand q11, q11, q12 314 vand q10, q10, q2 315 veor q12, q12, q8 316 veor q2, q2, q6 317 vand q8, q8, q15 318 vand q6, q6, q13 319 vand q12, q12, q14 320 vand q2, q2, q9 321 veor q8, q8, q12 322 veor q2, q2, q6 323 veor q12, q12, q11 324 veor q6, q6, q10 325 veor q5, q5, q12 326 veor q2, q2, q12 327 veor q1, q1, q8 328 veor q6, q6, q8 329 330 veor q12, q3, q0 331 veor q8, q7, q4 332 veor q11, q15, q14 333 veor q10, q13, q9 334 vand q11, q11, q12 335 vand q10, q10, q0 336 veor q12, q12, q8 337 veor q0, q0, q4 338 vand q8, q8, q15 339 vand q4, q4, q13 340 vand q12, q12, q14 341 vand q0, q0, q9 342 veor q8, q8, q12 343 veor q0, q0, q4 344 veor q12, q12, q11 345 veor q4, q4, q10 346 veor q15, q15, q13 347 veor q14, q14, q9 348 veor q10, q15, q14 349 vand q10, q10, q3 350 veor q3, q3, q7 351 vand q11, q7, q15 352 vand q3, q3, q14 353 veor q7, q11, q10 354 veor q3, q3, q11 355 veor q3, q3, q12 356 veor q0, q0, q12 357 veor q7, q7, q8 358 veor q4, q4, q8 359 veor q1, q1, q7 360 veor q6, q6, q5 361 362 veor q4, q4, q1 363 veor q2, q2, q7 364 veor q5, q5, q7 365 veor q4, q4, q2 366 veor q7, q7, q0 367 veor q4, q4, q5 368 veor q3, q3, q6 369 veor q6, q6, q1 370 veor q3, q3, q4 371 372 veor q4, q4, q0 373 veor q7, q7, q3 374 subs r5,r5,#1 375 bcc .Ldec_done 376 @ multiplication by 0x05-0x00-0x04-0x00 377 vext.8 q8, q0, q0, #8 378 vext.8 q14, q3, q3, #8 379 vext.8 q15, q5, q5, #8 380 veor q8, q8, q0 381 vext.8 q9, q1, q1, #8 382 veor q14, q14, q3 383 vext.8 q10, q6, q6, #8 384 veor q15, q15, q5 385 vext.8 q11, q4, q4, #8 386 veor q9, q9, q1 387 vext.8 q12, q2, q2, #8 388 veor q10, q10, q6 389 vext.8 q13, q7, q7, #8 390 veor q11, q11, q4 391 veor q12, q12, q2 392 veor q13, q13, q7 393 394 veor q0, q0, q14 395 veor q1, q1, q14 396 veor q6, q6, q8 397 veor q2, q2, q10 398 veor q4, q4, q9 399 veor q1, q1, q15 400 veor q6, q6, q15 401 veor q2, q2, q14 402 veor q7, q7, q11 403 veor q4, q4, q14 404 veor q3, q3, q12 405 veor q2, q2, q15 406 veor q7, q7, q15 407 veor q5, q5, q13 408 vext.8 q8, q0, q0, #12 @ x0 <<< 32 409 vext.8 q9, q1, q1, #12 410 veor q0, q0, q8 @ x0 ^ (x0 <<< 32) 411 vext.8 q10, q6, q6, #12 412 veor q1, q1, q9 413 vext.8 q11, q4, q4, #12 414 veor q6, q6, q10 415 vext.8 q12, q2, q2, #12 416 veor q4, q4, q11 417 vext.8 q13, q7, q7, #12 418 veor q2, q2, q12 419 vext.8 q14, q3, q3, #12 420 veor q7, q7, q13 421 vext.8 q15, q5, q5, #12 422 veor q3, q3, q14 423 424 veor q9, q9, q0 425 veor q5, q5, q15 426 vext.8 q0, q0, q0, #8 @ (x0 ^ (x0 <<< 32)) <<< 64) 427 veor q10, q10, q1 428 veor q8, q8, q5 429 veor q9, q9, q5 430 vext.8 q1, q1, q1, #8 431 veor q13, q13, q2 432 veor q0, q0, q8 433 veor q14, q14, q7 434 veor q1, q1, q9 435 vext.8 q8, q2, q2, #8 436 veor q12, q12, q4 437 vext.8 q9, q7, q7, #8 438 veor q15, q15, q3 439 vext.8 q2, q4, q4, #8 440 veor q11, q11, q6 441 vext.8 q7, q5, q5, #8 442 veor q12, q12, q5 443 vext.8 q4, q3, q3, #8 444 veor q11, q11, q5 445 vext.8 q3, q6, q6, #8 446 veor q5, q9, q13 447 veor q11, q11, q2 448 veor q7, q7, q15 449 veor q6, q4, q14 450 veor q4, q8, q12 451 veor q2, q3, q10 452 vmov q3, q11 453 @ vmov q5, q9 454 vldmia r6, {q12} @ .LISR 455 ite eq @ Thumb2 thing, sanity check in ARM 456 addeq r6,r6,#0x10 457 bne .Ldec_loop 458 vldmia r6, {q12} @ .LISRM0 459 b .Ldec_loop 460 .align 4 461 .Ldec_done: 462 vmov.i8 q8,#0x55 @ compose .LBS0 463 vmov.i8 q9,#0x33 @ compose .LBS1 464 vshr.u64 q10, q3, #1 465 vshr.u64 q11, q2, #1 466 veor q10, q10, q5 467 veor q11, q11, q7 468 vand q10, q10, q8 469 vand q11, q11, q8 470 veor q5, q5, q10 471 vshl.u64 q10, q10, #1 472 veor q7, q7, q11 473 vshl.u64 q11, q11, #1 474 veor q3, q3, q10 475 veor q2, q2, q11 476 vshr.u64 q10, q6, #1 477 vshr.u64 q11, q0, #1 478 veor q10, q10, q4 479 veor q11, q11, q1 480 vand q10, q10, q8 481 vand q11, q11, q8 482 veor q4, q4, q10 483 vshl.u64 q10, q10, #1 484 veor q1, q1, q11 485 vshl.u64 q11, q11, #1 486 veor q6, q6, q10 487 veor q0, q0, q11 488 vmov.i8 q8,#0x0f @ compose .LBS2 489 vshr.u64 q10, q7, #2 490 vshr.u64 q11, q2, #2 491 veor q10, q10, q5 492 veor q11, q11, q3 493 vand q10, q10, q9 494 vand q11, q11, q9 495 veor q5, q5, q10 496 vshl.u64 q10, q10, #2 497 veor q3, q3, q11 498 vshl.u64 q11, q11, #2 499 veor q7, q7, q10 500 veor q2, q2, q11 501 vshr.u64 q10, q1, #2 502 vshr.u64 q11, q0, #2 503 veor q10, q10, q4 504 veor q11, q11, q6 505 vand q10, q10, q9 506 vand q11, q11, q9 507 veor q4, q4, q10 508 vshl.u64 q10, q10, #2 509 veor q6, q6, q11 510 vshl.u64 q11, q11, #2 511 veor q1, q1, q10 512 veor q0, q0, q11 513 vshr.u64 q10, q4, #4 514 vshr.u64 q11, q6, #4 515 veor q10, q10, q5 516 veor q11, q11, q3 517 vand q10, q10, q8 518 vand q11, q11, q8 519 veor q5, q5, q10 520 vshl.u64 q10, q10, #4 521 veor q3, q3, q11 522 vshl.u64 q11, q11, #4 523 veor q4, q4, q10 524 veor q6, q6, q11 525 vshr.u64 q10, q1, #4 526 vshr.u64 q11, q0, #4 527 veor q10, q10, q7 528 veor q11, q11, q2 529 vand q10, q10, q8 530 vand q11, q11, q8 531 veor q7, q7, q10 532 vshl.u64 q10, q10, #4 533 veor q2, q2, q11 534 vshl.u64 q11, q11, #4 535 veor q1, q1, q10 536 veor q0, q0, q11 537 vldmia r4, {q8} @ last round key 538 veor q6, q6, q8 539 veor q4, q4, q8 540 veor q2, q2, q8 541 veor q7, q7, q8 542 veor q3, q3, q8 543 veor q5, q5, q8 544 veor q0, q0, q8 545 veor q1, q1, q8 546 bx lr 547 .size _bsaes_decrypt8,.-_bsaes_decrypt8 548 549 .type _bsaes_const,%object 550 .align 6 551 _bsaes_const: 552 .LM0ISR:@ InvShiftRows constants 553 .quad 0x0a0e0206070b0f03, 0x0004080c0d010509 554 .LISR: 555 .quad 0x0504070602010003, 0x0f0e0d0c080b0a09 556 .LISRM0: 557 .quad 0x01040b0e0205080f, 0x0306090c00070a0d 558 .LM0SR:@ ShiftRows constants 559 .quad 0x0a0e02060f03070b, 0x0004080c05090d01 560 .LSR: 561 .quad 0x0504070600030201, 0x0f0e0d0c0a09080b 562 .LSRM0: 563 .quad 0x0304090e00050a0f, 0x01060b0c0207080d 564 .LM0: 565 .quad 0x02060a0e03070b0f, 0x0004080c0105090d 566 .LREVM0SR: 567 .quad 0x090d01050c000408, 0x03070b0f060a0e02 568 .byte 66,105,116,45,115,108,105,99,101,100,32,65,69,83,32,102,111,114,32,78,69,79,78,44,32,67,82,89,80,84,79,71,65,77,83,32,98,121,32,60,97,112,112,114,111,64,111,112,101,110,115,115,108,46,111,114,103,62,0 569 .align 2 570 .align 6 571 .size _bsaes_const,.-_bsaes_const 572 573 .type _bsaes_encrypt8,%function 574 .align 4 575 _bsaes_encrypt8: 576 adr r6,_bsaes_encrypt8 577 vldmia r4!, {q9} @ round 0 key 578 #ifdef __APPLE__ 579 adr r6,.LM0SR 580 #else 581 sub r6,r6,#_bsaes_encrypt8-.LM0SR 582 #endif 583 584 vldmia r6!, {q8} @ .LM0SR 585 _bsaes_encrypt8_alt: 586 veor q10, q0, q9 @ xor with round0 key 587 veor q11, q1, q9 588 vtbl.8 d0, {q10}, d16 589 vtbl.8 d1, {q10}, d17 590 veor q12, q2, q9 591 vtbl.8 d2, {q11}, d16 592 vtbl.8 d3, {q11}, d17 593 veor q13, q3, q9 594 vtbl.8 d4, {q12}, d16 595 vtbl.8 d5, {q12}, d17 596 veor q14, q4, q9 597 vtbl.8 d6, {q13}, d16 598 vtbl.8 d7, {q13}, d17 599 veor q15, q5, q9 600 vtbl.8 d8, {q14}, d16 601 vtbl.8 d9, {q14}, d17 602 veor q10, q6, q9 603 vtbl.8 d10, {q15}, d16 604 vtbl.8 d11, {q15}, d17 605 veor q11, q7, q9 606 vtbl.8 d12, {q10}, d16 607 vtbl.8 d13, {q10}, d17 608 vtbl.8 d14, {q11}, d16 609 vtbl.8 d15, {q11}, d17 610 _bsaes_encrypt8_bitslice: 611 vmov.i8 q8,#0x55 @ compose .LBS0 612 vmov.i8 q9,#0x33 @ compose .LBS1 613 vshr.u64 q10, q6, #1 614 vshr.u64 q11, q4, #1 615 veor q10, q10, q7 616 veor q11, q11, q5 617 vand q10, q10, q8 618 vand q11, q11, q8 619 veor q7, q7, q10 620 vshl.u64 q10, q10, #1 621 veor q5, q5, q11 622 vshl.u64 q11, q11, #1 623 veor q6, q6, q10 624 veor q4, q4, q11 625 vshr.u64 q10, q2, #1 626 vshr.u64 q11, q0, #1 627 veor q10, q10, q3 628 veor q11, q11, q1 629 vand q10, q10, q8 630 vand q11, q11, q8 631 veor q3, q3, q10 632 vshl.u64 q10, q10, #1 633 veor q1, q1, q11 634 vshl.u64 q11, q11, #1 635 veor q2, q2, q10 636 veor q0, q0, q11 637 vmov.i8 q8,#0x0f @ compose .LBS2 638 vshr.u64 q10, q5, #2 639 vshr.u64 q11, q4, #2 640 veor q10, q10, q7 641 veor q11, q11, q6 642 vand q10, q10, q9 643 vand q11, q11, q9 644 veor q7, q7, q10 645 vshl.u64 q10, q10, #2 646 veor q6, q6, q11 647 vshl.u64 q11, q11, #2 648 veor q5, q5, q10 649 veor q4, q4, q11 650 vshr.u64 q10, q1, #2 651 vshr.u64 q11, q0, #2 652 veor q10, q10, q3 653 veor q11, q11, q2 654 vand q10, q10, q9 655 vand q11, q11, q9 656 veor q3, q3, q10 657 vshl.u64 q10, q10, #2 658 veor q2, q2, q11 659 vshl.u64 q11, q11, #2 660 veor q1, q1, q10 661 veor q0, q0, q11 662 vshr.u64 q10, q3, #4 663 vshr.u64 q11, q2, #4 664 veor q10, q10, q7 665 veor q11, q11, q6 666 vand q10, q10, q8 667 vand q11, q11, q8 668 veor q7, q7, q10 669 vshl.u64 q10, q10, #4 670 veor q6, q6, q11 671 vshl.u64 q11, q11, #4 672 veor q3, q3, q10 673 veor q2, q2, q11 674 vshr.u64 q10, q1, #4 675 vshr.u64 q11, q0, #4 676 veor q10, q10, q5 677 veor q11, q11, q4 678 vand q10, q10, q8 679 vand q11, q11, q8 680 veor q5, q5, q10 681 vshl.u64 q10, q10, #4 682 veor q4, q4, q11 683 vshl.u64 q11, q11, #4 684 veor q1, q1, q10 685 veor q0, q0, q11 686 sub r5,r5,#1 687 b .Lenc_sbox 688 .align 4 689 .Lenc_loop: 690 vldmia r4!, {q8,q9,q10,q11} 691 veor q8, q8, q0 692 veor q9, q9, q1 693 vtbl.8 d0, {q8}, d24 694 vtbl.8 d1, {q8}, d25 695 vldmia r4!, {q8} 696 veor q10, q10, q2 697 vtbl.8 d2, {q9}, d24 698 vtbl.8 d3, {q9}, d25 699 vldmia r4!, {q9} 700 veor q11, q11, q3 701 vtbl.8 d4, {q10}, d24 702 vtbl.8 d5, {q10}, d25 703 vldmia r4!, {q10} 704 vtbl.8 d6, {q11}, d24 705 vtbl.8 d7, {q11}, d25 706 vldmia r4!, {q11} 707 veor q8, q8, q4 708 veor q9, q9, q5 709 vtbl.8 d8, {q8}, d24 710 vtbl.8 d9, {q8}, d25 711 veor q10, q10, q6 712 vtbl.8 d10, {q9}, d24 713 vtbl.8 d11, {q9}, d25 714 veor q11, q11, q7 715 vtbl.8 d12, {q10}, d24 716 vtbl.8 d13, {q10}, d25 717 vtbl.8 d14, {q11}, d24 718 vtbl.8 d15, {q11}, d25 719 .Lenc_sbox: 720 veor q2, q2, q1 721 veor q5, q5, q6 722 veor q3, q3, q0 723 veor q6, q6, q2 724 veor q5, q5, q0 725 726 veor q6, q6, q3 727 veor q3, q3, q7 728 veor q7, q7, q5 729 veor q3, q3, q4 730 veor q4, q4, q5 731 732 veor q2, q2, q7 733 veor q3, q3, q1 734 veor q1, q1, q5 735 veor q11, q7, q4 736 veor q10, q1, q2 737 veor q9, q5, q3 738 veor q13, q2, q4 739 vmov q8, q10 740 veor q12, q6, q0 741 742 vorr q10, q10, q9 743 veor q15, q11, q8 744 vand q14, q11, q12 745 vorr q11, q11, q12 746 veor q12, q12, q9 747 vand q8, q8, q9 748 veor q9, q3, q0 749 vand q15, q15, q12 750 vand q13, q13, q9 751 veor q9, q7, q1 752 veor q12, q5, q6 753 veor q11, q11, q13 754 veor q10, q10, q13 755 vand q13, q9, q12 756 vorr q9, q9, q12 757 veor q11, q11, q15 758 veor q8, q8, q13 759 veor q10, q10, q14 760 veor q9, q9, q15 761 veor q8, q8, q14 762 vand q12, q2, q3 763 veor q9, q9, q14 764 vand q13, q4, q0 765 vand q14, q1, q5 766 vorr q15, q7, q6 767 veor q11, q11, q12 768 veor q9, q9, q14 769 veor q8, q8, q15 770 veor q10, q10, q13 771 772 @ Inv_GF16 0, 1, 2, 3, s0, s1, s2, s3 773 774 @ new smaller inversion 775 776 vand q14, q11, q9 777 vmov q12, q8 778 779 veor q13, q10, q14 780 veor q15, q8, q14 781 veor q14, q8, q14 @ q14=q15 782 783 vbsl q13, q9, q8 784 vbsl q15, q11, q10 785 veor q11, q11, q10 786 787 vbsl q12, q13, q14 788 vbsl q8, q14, q13 789 790 vand q14, q12, q15 791 veor q9, q9, q8 792 793 veor q14, q14, q11 794 veor q12, q6, q0 795 veor q8, q5, q3 796 veor q10, q15, q14 797 vand q10, q10, q6 798 veor q6, q6, q5 799 vand q11, q5, q15 800 vand q6, q6, q14 801 veor q5, q11, q10 802 veor q6, q6, q11 803 veor q15, q15, q13 804 veor q14, q14, q9 805 veor q11, q15, q14 806 veor q10, q13, q9 807 vand q11, q11, q12 808 vand q10, q10, q0 809 veor q12, q12, q8 810 veor q0, q0, q3 811 vand q8, q8, q15 812 vand q3, q3, q13 813 vand q12, q12, q14 814 vand q0, q0, q9 815 veor q8, q8, q12 816 veor q0, q0, q3 817 veor q12, q12, q11 818 veor q3, q3, q10 819 veor q6, q6, q12 820 veor q0, q0, q12 821 veor q5, q5, q8 822 veor q3, q3, q8 823 824 veor q12, q7, q4 825 veor q8, q1, q2 826 veor q11, q15, q14 827 veor q10, q13, q9 828 vand q11, q11, q12 829 vand q10, q10, q4 830 veor q12, q12, q8 831 veor q4, q4, q2 832 vand q8, q8, q15 833 vand q2, q2, q13 834 vand q12, q12, q14 835 vand q4, q4, q9 836 veor q8, q8, q12 837 veor q4, q4, q2 838 veor q12, q12, q11 839 veor q2, q2, q10 840 veor q15, q15, q13 841 veor q14, q14, q9 842 veor q10, q15, q14 843 vand q10, q10, q7 844 veor q7, q7, q1 845 vand q11, q1, q15 846 vand q7, q7, q14 847 veor q1, q11, q10 848 veor q7, q7, q11 849 veor q7, q7, q12 850 veor q4, q4, q12 851 veor q1, q1, q8 852 veor q2, q2, q8 853 veor q7, q7, q0 854 veor q1, q1, q6 855 veor q6, q6, q0 856 veor q4, q4, q7 857 veor q0, q0, q1 858 859 veor q1, q1, q5 860 veor q5, q5, q2 861 veor q2, q2, q3 862 veor q3, q3, q5 863 veor q4, q4, q5 864 865 veor q6, q6, q3 866 subs r5,r5,#1 867 bcc .Lenc_done 868 vext.8 q8, q0, q0, #12 @ x0 <<< 32 869 vext.8 q9, q1, q1, #12 870 veor q0, q0, q8 @ x0 ^ (x0 <<< 32) 871 vext.8 q10, q4, q4, #12 872 veor q1, q1, q9 873 vext.8 q11, q6, q6, #12 874 veor q4, q4, q10 875 vext.8 q12, q3, q3, #12 876 veor q6, q6, q11 877 vext.8 q13, q7, q7, #12 878 veor q3, q3, q12 879 vext.8 q14, q2, q2, #12 880 veor q7, q7, q13 881 vext.8 q15, q5, q5, #12 882 veor q2, q2, q14 883 884 veor q9, q9, q0 885 veor q5, q5, q15 886 vext.8 q0, q0, q0, #8 @ (x0 ^ (x0 <<< 32)) <<< 64) 887 veor q10, q10, q1 888 veor q8, q8, q5 889 veor q9, q9, q5 890 vext.8 q1, q1, q1, #8 891 veor q13, q13, q3 892 veor q0, q0, q8 893 veor q14, q14, q7 894 veor q1, q1, q9 895 vext.8 q8, q3, q3, #8 896 veor q12, q12, q6 897 vext.8 q9, q7, q7, #8 898 veor q15, q15, q2 899 vext.8 q3, q6, q6, #8 900 veor q11, q11, q4 901 vext.8 q7, q5, q5, #8 902 veor q12, q12, q5 903 vext.8 q6, q2, q2, #8 904 veor q11, q11, q5 905 vext.8 q2, q4, q4, #8 906 veor q5, q9, q13 907 veor q4, q8, q12 908 veor q3, q3, q11 909 veor q7, q7, q15 910 veor q6, q6, q14 911 @ vmov q4, q8 912 veor q2, q2, q10 913 @ vmov q5, q9 914 vldmia r6, {q12} @ .LSR 915 ite eq @ Thumb2 thing, samity check in ARM 916 addeq r6,r6,#0x10 917 bne .Lenc_loop 918 vldmia r6, {q12} @ .LSRM0 919 b .Lenc_loop 920 .align 4 921 .Lenc_done: 922 vmov.i8 q8,#0x55 @ compose .LBS0 923 vmov.i8 q9,#0x33 @ compose .LBS1 924 vshr.u64 q10, q2, #1 925 vshr.u64 q11, q3, #1 926 veor q10, q10, q5 927 veor q11, q11, q7 928 vand q10, q10, q8 929 vand q11, q11, q8 930 veor q5, q5, q10 931 vshl.u64 q10, q10, #1 932 veor q7, q7, q11 933 vshl.u64 q11, q11, #1 934 veor q2, q2, q10 935 veor q3, q3, q11 936 vshr.u64 q10, q4, #1 937 vshr.u64 q11, q0, #1 938 veor q10, q10, q6 939 veor q11, q11, q1 940 vand q10, q10, q8 941 vand q11, q11, q8 942 veor q6, q6, q10 943 vshl.u64 q10, q10, #1 944 veor q1, q1, q11 945 vshl.u64 q11, q11, #1 946 veor q4, q4, q10 947 veor q0, q0, q11 948 vmov.i8 q8,#0x0f @ compose .LBS2 949 vshr.u64 q10, q7, #2 950 vshr.u64 q11, q3, #2 951 veor q10, q10, q5 952 veor q11, q11, q2 953 vand q10, q10, q9 954 vand q11, q11, q9 955 veor q5, q5, q10 956 vshl.u64 q10, q10, #2 957 veor q2, q2, q11 958 vshl.u64 q11, q11, #2 959 veor q7, q7, q10 960 veor q3, q3, q11 961 vshr.u64 q10, q1, #2 962 vshr.u64 q11, q0, #2 963 veor q10, q10, q6 964 veor q11, q11, q4 965 vand q10, q10, q9 966 vand q11, q11, q9 967 veor q6, q6, q10 968 vshl.u64 q10, q10, #2 969 veor q4, q4, q11 970 vshl.u64 q11, q11, #2 971 veor q1, q1, q10 972 veor q0, q0, q11 973 vshr.u64 q10, q6, #4 974 vshr.u64 q11, q4, #4 975 veor q10, q10, q5 976 veor q11, q11, q2 977 vand q10, q10, q8 978 vand q11, q11, q8 979 veor q5, q5, q10 980 vshl.u64 q10, q10, #4 981 veor q2, q2, q11 982 vshl.u64 q11, q11, #4 983 veor q6, q6, q10 984 veor q4, q4, q11 985 vshr.u64 q10, q1, #4 986 vshr.u64 q11, q0, #4 987 veor q10, q10, q7 988 veor q11, q11, q3 989 vand q10, q10, q8 990 vand q11, q11, q8 991 veor q7, q7, q10 992 vshl.u64 q10, q10, #4 993 veor q3, q3, q11 994 vshl.u64 q11, q11, #4 995 veor q1, q1, q10 996 veor q0, q0, q11 997 vldmia r4, {q8} @ last round key 998 veor q4, q4, q8 999 veor q6, q6, q8 1000 veor q3, q3, q8 1001 veor q7, q7, q8 1002 veor q2, q2, q8 1003 veor q5, q5, q8 1004 veor q0, q0, q8 1005 veor q1, q1, q8 1006 bx lr 1007 .size _bsaes_encrypt8,.-_bsaes_encrypt8 1008 .type _bsaes_key_convert,%function 1009 .align 4 1010 _bsaes_key_convert: 1011 adr r6,_bsaes_key_convert 1012 vld1.8 {q7}, [r4]! @ load round 0 key 1013 #ifdef __APPLE__ 1014 adr r6,.LM0 1015 #else 1016 sub r6,r6,#_bsaes_key_convert-.LM0 1017 #endif 1018 vld1.8 {q15}, [r4]! @ load round 1 key 1019 1020 vmov.i8 q8, #0x01 @ bit masks 1021 vmov.i8 q9, #0x02 1022 vmov.i8 q10, #0x04 1023 vmov.i8 q11, #0x08 1024 vmov.i8 q12, #0x10 1025 vmov.i8 q13, #0x20 1026 vldmia r6, {q14} @ .LM0 1027 1028 #ifdef __ARMEL__ 1029 vrev32.8 q7, q7 1030 vrev32.8 q15, q15 1031 #endif 1032 sub r5,r5,#1 1033 vstmia r12!, {q7} @ save round 0 key 1034 b .Lkey_loop 1035 1036 .align 4 1037 .Lkey_loop: 1038 vtbl.8 d14,{q15},d28 1039 vtbl.8 d15,{q15},d29 1040 vmov.i8 q6, #0x40 1041 vmov.i8 q15, #0x80 1042 1043 vtst.8 q0, q7, q8 1044 vtst.8 q1, q7, q9 1045 vtst.8 q2, q7, q10 1046 vtst.8 q3, q7, q11 1047 vtst.8 q4, q7, q12 1048 vtst.8 q5, q7, q13 1049 vtst.8 q6, q7, q6 1050 vtst.8 q7, q7, q15 1051 vld1.8 {q15}, [r4]! @ load next round key 1052 vmvn q0, q0 @ "pnot" 1053 vmvn q1, q1 1054 vmvn q5, q5 1055 vmvn q6, q6 1056 #ifdef __ARMEL__ 1057 vrev32.8 q15, q15 1058 #endif 1059 subs r5,r5,#1 1060 vstmia r12!,{q0,q1,q2,q3,q4,q5,q6,q7} @ write bit-sliced round key 1061 bne .Lkey_loop 1062 1063 vmov.i8 q7,#0x63 @ compose .L63 1064 @ don't save last round key 1065 bx lr 1066 .size _bsaes_key_convert,.-_bsaes_key_convert 1067 1068 1069 1070 .globl bsaes_cbc_encrypt 1071 .hidden bsaes_cbc_encrypt 1072 .type bsaes_cbc_encrypt,%function 1073 .align 5 1074 bsaes_cbc_encrypt: 1075 #ifndef __KERNEL__ 1076 cmp r2, #128 1077 #ifndef __thumb__ 1078 blo AES_cbc_encrypt 1079 #else 1080 bhs 1f 1081 b AES_cbc_encrypt 1082 1: 1083 #endif 1084 #endif 1085 1086 @ it is up to the caller to make sure we are called with enc == 0 1087 1088 mov ip, sp 1089 stmdb sp!, {r4,r5,r6,r7,r8,r9,r10, lr} 1090 VFP_ABI_PUSH 1091 ldr r8, [ip] @ IV is 1st arg on the stack 1092 mov r2, r2, lsr#4 @ len in 16 byte blocks 1093 sub sp, #0x10 @ scratch space to carry over the IV 1094 mov r9, sp @ save sp 1095 1096 ldr r10, [r3, #240] @ get # of rounds 1097 #ifndef BSAES_ASM_EXTENDED_KEY 1098 @ allocate the key schedule on the stack 1099 sub r12, sp, r10, lsl#7 @ 128 bytes per inner round key 1100 add r12, #96 @ sifze of bit-slices key schedule 1101 1102 @ populate the key schedule 1103 mov r4, r3 @ pass key 1104 mov r5, r10 @ pass # of rounds 1105 mov sp, r12 @ sp is sp 1106 bl _bsaes_key_convert 1107 vldmia sp, {q6} 1108 vstmia r12, {q15} @ save last round key 1109 veor q7, q7, q6 @ fix up round 0 key 1110 vstmia sp, {q7} 1111 #else 1112 ldr r12, [r3, #244] 1113 eors r12, #1 1114 beq 0f 1115 1116 @ populate the key schedule 1117 str r12, [r3, #244] 1118 mov r4, r3 @ pass key 1119 mov r5, r10 @ pass # of rounds 1120 add r12, r3, #248 @ pass key schedule 1121 bl _bsaes_key_convert 1122 add r4, r3, #248 1123 vldmia r4, {q6} 1124 vstmia r12, {q15} @ save last round key 1125 veor q7, q7, q6 @ fix up round 0 key 1126 vstmia r4, {q7} 1127 1128 .align 2 1129 1130 #endif 1131 1132 vld1.8 {q15}, [r8] @ load IV 1133 b .Lcbc_dec_loop 1134 1135 .align 4 1136 .Lcbc_dec_loop: 1137 subs r2, r2, #0x8 1138 bmi .Lcbc_dec_loop_finish 1139 1140 vld1.8 {q0,q1}, [r0]! @ load input 1141 vld1.8 {q2,q3}, [r0]! 1142 #ifndef BSAES_ASM_EXTENDED_KEY 1143 mov r4, sp @ pass the key 1144 #else 1145 add r4, r3, #248 1146 #endif 1147 vld1.8 {q4,q5}, [r0]! 1148 mov r5, r10 1149 vld1.8 {q6,q7}, [r0] 1150 sub r0, r0, #0x60 1151 vstmia r9, {q15} @ put aside IV 1152 1153 bl _bsaes_decrypt8 1154 1155 vldmia r9, {q14} @ reload IV 1156 vld1.8 {q8,q9}, [r0]! @ reload input 1157 veor q0, q0, q14 @ ^= IV 1158 vld1.8 {q10,q11}, [r0]! 1159 veor q1, q1, q8 1160 veor q6, q6, q9 1161 vld1.8 {q12,q13}, [r0]! 1162 veor q4, q4, q10 1163 veor q2, q2, q11 1164 vld1.8 {q14,q15}, [r0]! 1165 veor q7, q7, q12 1166 vst1.8 {q0,q1}, [r1]! @ write output 1167 veor q3, q3, q13 1168 vst1.8 {q6}, [r1]! 1169 veor q5, q5, q14 1170 vst1.8 {q4}, [r1]! 1171 vst1.8 {q2}, [r1]! 1172 vst1.8 {q7}, [r1]! 1173 vst1.8 {q3}, [r1]! 1174 vst1.8 {q5}, [r1]! 1175 1176 b .Lcbc_dec_loop 1177 1178 .Lcbc_dec_loop_finish: 1179 adds r2, r2, #8 1180 beq .Lcbc_dec_done 1181 1182 vld1.8 {q0}, [r0]! @ load input 1183 cmp r2, #2 1184 blo .Lcbc_dec_one 1185 vld1.8 {q1}, [r0]! 1186 #ifndef BSAES_ASM_EXTENDED_KEY 1187 mov r4, sp @ pass the key 1188 #else 1189 add r4, r3, #248 1190 #endif 1191 mov r5, r10 1192 vstmia r9, {q15} @ put aside IV 1193 beq .Lcbc_dec_two 1194 vld1.8 {q2}, [r0]! 1195 cmp r2, #4 1196 blo .Lcbc_dec_three 1197 vld1.8 {q3}, [r0]! 1198 beq .Lcbc_dec_four 1199 vld1.8 {q4}, [r0]! 1200 cmp r2, #6 1201 blo .Lcbc_dec_five 1202 vld1.8 {q5}, [r0]! 1203 beq .Lcbc_dec_six 1204 vld1.8 {q6}, [r0]! 1205 sub r0, r0, #0x70 1206 1207 bl _bsaes_decrypt8 1208 1209 vldmia r9, {q14} @ reload IV 1210 vld1.8 {q8,q9}, [r0]! @ reload input 1211 veor q0, q0, q14 @ ^= IV 1212 vld1.8 {q10,q11}, [r0]! 1213 veor q1, q1, q8 1214 veor q6, q6, q9 1215 vld1.8 {q12,q13}, [r0]! 1216 veor q4, q4, q10 1217 veor q2, q2, q11 1218 vld1.8 {q15}, [r0]! 1219 veor q7, q7, q12 1220 vst1.8 {q0,q1}, [r1]! @ write output 1221 veor q3, q3, q13 1222 vst1.8 {q6}, [r1]! 1223 vst1.8 {q4}, [r1]! 1224 vst1.8 {q2}, [r1]! 1225 vst1.8 {q7}, [r1]! 1226 vst1.8 {q3}, [r1]! 1227 b .Lcbc_dec_done 1228 .align 4 1229 .Lcbc_dec_six: 1230 sub r0, r0, #0x60 1231 bl _bsaes_decrypt8 1232 vldmia r9,{q14} @ reload IV 1233 vld1.8 {q8,q9}, [r0]! @ reload input 1234 veor q0, q0, q14 @ ^= IV 1235 vld1.8 {q10,q11}, [r0]! 1236 veor q1, q1, q8 1237 veor q6, q6, q9 1238 vld1.8 {q12}, [r0]! 1239 veor q4, q4, q10 1240 veor q2, q2, q11 1241 vld1.8 {q15}, [r0]! 1242 veor q7, q7, q12 1243 vst1.8 {q0,q1}, [r1]! @ write output 1244 vst1.8 {q6}, [r1]! 1245 vst1.8 {q4}, [r1]! 1246 vst1.8 {q2}, [r1]! 1247 vst1.8 {q7}, [r1]! 1248 b .Lcbc_dec_done 1249 .align 4 1250 .Lcbc_dec_five: 1251 sub r0, r0, #0x50 1252 bl _bsaes_decrypt8 1253 vldmia r9, {q14} @ reload IV 1254 vld1.8 {q8,q9}, [r0]! @ reload input 1255 veor q0, q0, q14 @ ^= IV 1256 vld1.8 {q10,q11}, [r0]! 1257 veor q1, q1, q8 1258 veor q6, q6, q9 1259 vld1.8 {q15}, [r0]! 1260 veor q4, q4, q10 1261 vst1.8 {q0,q1}, [r1]! @ write output 1262 veor q2, q2, q11 1263 vst1.8 {q6}, [r1]! 1264 vst1.8 {q4}, [r1]! 1265 vst1.8 {q2}, [r1]! 1266 b .Lcbc_dec_done 1267 .align 4 1268 .Lcbc_dec_four: 1269 sub r0, r0, #0x40 1270 bl _bsaes_decrypt8 1271 vldmia r9, {q14} @ reload IV 1272 vld1.8 {q8,q9}, [r0]! @ reload input 1273 veor q0, q0, q14 @ ^= IV 1274 vld1.8 {q10}, [r0]! 1275 veor q1, q1, q8 1276 veor q6, q6, q9 1277 vld1.8 {q15}, [r0]! 1278 veor q4, q4, q10 1279 vst1.8 {q0,q1}, [r1]! @ write output 1280 vst1.8 {q6}, [r1]! 1281 vst1.8 {q4}, [r1]! 1282 b .Lcbc_dec_done 1283 .align 4 1284 .Lcbc_dec_three: 1285 sub r0, r0, #0x30 1286 bl _bsaes_decrypt8 1287 vldmia r9, {q14} @ reload IV 1288 vld1.8 {q8,q9}, [r0]! @ reload input 1289 veor q0, q0, q14 @ ^= IV 1290 vld1.8 {q15}, [r0]! 1291 veor q1, q1, q8 1292 veor q6, q6, q9 1293 vst1.8 {q0,q1}, [r1]! @ write output 1294 vst1.8 {q6}, [r1]! 1295 b .Lcbc_dec_done 1296 .align 4 1297 .Lcbc_dec_two: 1298 sub r0, r0, #0x20 1299 bl _bsaes_decrypt8 1300 vldmia r9, {q14} @ reload IV 1301 vld1.8 {q8}, [r0]! @ reload input 1302 veor q0, q0, q14 @ ^= IV 1303 vld1.8 {q15}, [r0]! @ reload input 1304 veor q1, q1, q8 1305 vst1.8 {q0,q1}, [r1]! @ write output 1306 b .Lcbc_dec_done 1307 .align 4 1308 .Lcbc_dec_one: 1309 sub r0, r0, #0x10 1310 mov r10, r1 @ save original out pointer 1311 mov r1, r9 @ use the iv scratch space as out buffer 1312 mov r2, r3 1313 vmov q4,q15 @ just in case ensure that IV 1314 vmov q5,q0 @ and input are preserved 1315 bl AES_decrypt 1316 vld1.8 {q0}, [r9,:64] @ load result 1317 veor q0, q0, q4 @ ^= IV 1318 vmov q15, q5 @ q5 holds input 1319 vst1.8 {q0}, [r10] @ write output 1320 1321 .Lcbc_dec_done: 1322 #ifndef BSAES_ASM_EXTENDED_KEY 1323 vmov.i32 q0, #0 1324 vmov.i32 q1, #0 1325 .Lcbc_dec_bzero:@ wipe key schedule [if any] 1326 vstmia sp!, {q0,q1} 1327 cmp sp, r9 1328 bne .Lcbc_dec_bzero 1329 #endif 1330 1331 mov sp, r9 1332 add sp, #0x10 @ add sp,r9,#0x10 is no good for thumb 1333 vst1.8 {q15}, [r8] @ return IV 1334 VFP_ABI_POP 1335 ldmia sp!, {r4,r5,r6,r7,r8,r9,r10, pc} 1336 .size bsaes_cbc_encrypt,.-bsaes_cbc_encrypt 1337 1338 .globl bsaes_ctr32_encrypt_blocks 1339 .hidden bsaes_ctr32_encrypt_blocks 1340 .type bsaes_ctr32_encrypt_blocks,%function 1341 .align 5 1342 bsaes_ctr32_encrypt_blocks: 1343 cmp r2, #8 @ use plain AES for 1344 blo .Lctr_enc_short @ small sizes 1345 1346 mov ip, sp 1347 stmdb sp!, {r4,r5,r6,r7,r8,r9,r10, lr} 1348 VFP_ABI_PUSH 1349 ldr r8, [ip] @ ctr is 1st arg on the stack 1350 sub sp, sp, #0x10 @ scratch space to carry over the ctr 1351 mov r9, sp @ save sp 1352 1353 ldr r10, [r3, #240] @ get # of rounds 1354 #ifndef BSAES_ASM_EXTENDED_KEY 1355 @ allocate the key schedule on the stack 1356 sub r12, sp, r10, lsl#7 @ 128 bytes per inner round key 1357 add r12, #96 @ size of bit-sliced key schedule 1358 1359 @ populate the key schedule 1360 mov r4, r3 @ pass key 1361 mov r5, r10 @ pass # of rounds 1362 mov sp, r12 @ sp is sp 1363 bl _bsaes_key_convert 1364 veor q7,q7,q15 @ fix up last round key 1365 vstmia r12, {q7} @ save last round key 1366 1367 vld1.8 {q0}, [r8] @ load counter 1368 #ifdef __APPLE__ 1369 mov r8, #:lower16:(.LREVM0SR-.LM0) 1370 add r8, r6, r8 1371 #else 1372 add r8, r6, #.LREVM0SR-.LM0 @ borrow r8 1373 #endif 1374 vldmia sp, {q4} @ load round0 key 1375 #else 1376 ldr r12, [r3, #244] 1377 eors r12, #1 1378 beq 0f 1379 1380 @ populate the key schedule 1381 str r12, [r3, #244] 1382 mov r4, r3 @ pass key 1383 mov r5, r10 @ pass # of rounds 1384 add r12, r3, #248 @ pass key schedule 1385 bl _bsaes_key_convert 1386 veor q7,q7,q15 @ fix up last round key 1387 vstmia r12, {q7} @ save last round key 1388 1389 .align 2 1390 add r12, r3, #248 1391 vld1.8 {q0}, [r8] @ load counter 1392 adrl r8, .LREVM0SR @ borrow r8 1393 vldmia r12, {q4} @ load round0 key 1394 sub sp, #0x10 @ place for adjusted round0 key 1395 #endif 1396 1397 vmov.i32 q8,#1 @ compose 1<<96 1398 veor q9,q9,q9 1399 vrev32.8 q0,q0 1400 vext.8 q8,q9,q8,#4 1401 vrev32.8 q4,q4 1402 vadd.u32 q9,q8,q8 @ compose 2<<96 1403 vstmia sp, {q4} @ save adjusted round0 key 1404 b .Lctr_enc_loop 1405 1406 .align 4 1407 .Lctr_enc_loop: 1408 vadd.u32 q10, q8, q9 @ compose 3<<96 1409 vadd.u32 q1, q0, q8 @ +1 1410 vadd.u32 q2, q0, q9 @ +2 1411 vadd.u32 q3, q0, q10 @ +3 1412 vadd.u32 q4, q1, q10 1413 vadd.u32 q5, q2, q10 1414 vadd.u32 q6, q3, q10 1415 vadd.u32 q7, q4, q10 1416 vadd.u32 q10, q5, q10 @ next counter 1417 1418 @ Borrow prologue from _bsaes_encrypt8 to use the opportunity 1419 @ to flip byte order in 32-bit counter 1420 1421 vldmia sp, {q9} @ load round0 key 1422 #ifndef BSAES_ASM_EXTENDED_KEY 1423 add r4, sp, #0x10 @ pass next round key 1424 #else 1425 add r4, r3, #264 1426 #endif 1427 vldmia r8, {q8} @ .LREVM0SR 1428 mov r5, r10 @ pass rounds 1429 vstmia r9, {q10} @ save next counter 1430 #ifdef __APPLE__ 1431 mov r6, #:lower16:(.LREVM0SR-.LSR) 1432 sub r6, r8, r6 1433 #else 1434 sub r6, r8, #.LREVM0SR-.LSR @ pass constants 1435 #endif 1436 1437 bl _bsaes_encrypt8_alt 1438 1439 subs r2, r2, #8 1440 blo .Lctr_enc_loop_done 1441 1442 vld1.8 {q8,q9}, [r0]! @ load input 1443 vld1.8 {q10,q11}, [r0]! 1444 veor q0, q8 1445 veor q1, q9 1446 vld1.8 {q12,q13}, [r0]! 1447 veor q4, q10 1448 veor q6, q11 1449 vld1.8 {q14,q15}, [r0]! 1450 veor q3, q12 1451 vst1.8 {q0,q1}, [r1]! @ write output 1452 veor q7, q13 1453 veor q2, q14 1454 vst1.8 {q4}, [r1]! 1455 veor q5, q15 1456 vst1.8 {q6}, [r1]! 1457 vmov.i32 q8, #1 @ compose 1<<96 1458 vst1.8 {q3}, [r1]! 1459 veor q9, q9, q9 1460 vst1.8 {q7}, [r1]! 1461 vext.8 q8, q9, q8, #4 1462 vst1.8 {q2}, [r1]! 1463 vadd.u32 q9,q8,q8 @ compose 2<<96 1464 vst1.8 {q5}, [r1]! 1465 vldmia r9, {q0} @ load counter 1466 1467 bne .Lctr_enc_loop 1468 b .Lctr_enc_done 1469 1470 .align 4 1471 .Lctr_enc_loop_done: 1472 add r2, r2, #8 1473 vld1.8 {q8}, [r0]! @ load input 1474 veor q0, q8 1475 vst1.8 {q0}, [r1]! @ write output 1476 cmp r2, #2 1477 blo .Lctr_enc_done 1478 vld1.8 {q9}, [r0]! 1479 veor q1, q9 1480 vst1.8 {q1}, [r1]! 1481 beq .Lctr_enc_done 1482 vld1.8 {q10}, [r0]! 1483 veor q4, q10 1484 vst1.8 {q4}, [r1]! 1485 cmp r2, #4 1486 blo .Lctr_enc_done 1487 vld1.8 {q11}, [r0]! 1488 veor q6, q11 1489 vst1.8 {q6}, [r1]! 1490 beq .Lctr_enc_done 1491 vld1.8 {q12}, [r0]! 1492 veor q3, q12 1493 vst1.8 {q3}, [r1]! 1494 cmp r2, #6 1495 blo .Lctr_enc_done 1496 vld1.8 {q13}, [r0]! 1497 veor q7, q13 1498 vst1.8 {q7}, [r1]! 1499 beq .Lctr_enc_done 1500 vld1.8 {q14}, [r0] 1501 veor q2, q14 1502 vst1.8 {q2}, [r1]! 1503 1504 .Lctr_enc_done: 1505 vmov.i32 q0, #0 1506 vmov.i32 q1, #0 1507 #ifndef BSAES_ASM_EXTENDED_KEY 1508 .Lctr_enc_bzero:@ wipe key schedule [if any] 1509 vstmia sp!, {q0,q1} 1510 cmp sp, r9 1511 bne .Lctr_enc_bzero 1512 #else 1513 vstmia sp, {q0,q1} 1514 #endif 1515 1516 mov sp, r9 1517 add sp, #0x10 @ add sp,r9,#0x10 is no good for thumb 1518 VFP_ABI_POP 1519 ldmia sp!, {r4,r5,r6,r7,r8,r9,r10, pc} @ return 1520 1521 .align 4 1522 .Lctr_enc_short: 1523 ldr ip, [sp] @ ctr pointer is passed on stack 1524 stmdb sp!, {r4,r5,r6,r7,r8, lr} 1525 1526 mov r4, r0 @ copy arguments 1527 mov r5, r1 1528 mov r6, r2 1529 mov r7, r3 1530 ldr r8, [ip, #12] @ load counter .LSW 1531 vld1.8 {q1}, [ip] @ load whole counter value 1532 #ifdef __ARMEL__ 1533 rev r8, r8 1534 #endif 1535 sub sp, sp, #0x10 1536 vst1.8 {q1}, [sp] @ copy counter value 1537 sub sp, sp, #0x10 1538 1539 .Lctr_enc_short_loop: 1540 add r0, sp, #0x10 @ input counter value 1541 mov r1, sp @ output on the stack 1542 mov r2, r7 @ key 1543 1544 bl AES_encrypt 1545 1546 vld1.8 {q0}, [r4]! @ load input 1547 vld1.8 {q1}, [sp] @ load encrypted counter 1548 add r8, r8, #1 1549 #ifdef __ARMEL__ 1550 rev r0, r8 1551 str r0, [sp, #0x1c] @ next counter value 1552 #else 1553 str r8, [sp, #0x1c] @ next counter value 1554 #endif 1555 veor q0,q0,q1 1556 vst1.8 {q0}, [r5]! @ store output 1557 subs r6, r6, #1 1558 bne .Lctr_enc_short_loop 1559 1560 vmov.i32 q0, #0 1561 vmov.i32 q1, #0 1562 vstmia sp!, {q0,q1} 1563 1564 ldmia sp!, {r4,r5,r6,r7,r8, pc} 1565 .size bsaes_ctr32_encrypt_blocks,.-bsaes_ctr32_encrypt_blocks 1566 .globl bsaes_xts_encrypt 1567 .hidden bsaes_xts_encrypt 1568 .type bsaes_xts_encrypt,%function 1569 .align 4 1570 bsaes_xts_encrypt: 1571 mov ip, sp 1572 stmdb sp!, {r4,r5,r6,r7,r8,r9,r10, lr} @ 0x20 1573 VFP_ABI_PUSH 1574 mov r6, sp @ future r3 1575 1576 mov r7, r0 1577 mov r8, r1 1578 mov r9, r2 1579 mov r10, r3 1580 1581 sub r0, sp, #0x10 @ 0x10 1582 bic r0, #0xf @ align at 16 bytes 1583 mov sp, r0 1584 1585 #ifdef XTS_CHAIN_TWEAK 1586 ldr r0, [ip] @ pointer to input tweak 1587 #else 1588 @ generate initial tweak 1589 ldr r0, [ip, #4] @ iv[] 1590 mov r1, sp 1591 ldr r2, [ip, #0] @ key2 1592 bl AES_encrypt 1593 mov r0,sp @ pointer to initial tweak 1594 #endif 1595 1596 ldr r1, [r10, #240] @ get # of rounds 1597 mov r3, r6 1598 #ifndef BSAES_ASM_EXTENDED_KEY 1599 @ allocate the key schedule on the stack 1600 sub r12, sp, r1, lsl#7 @ 128 bytes per inner round key 1601 @ add r12, #96 @ size of bit-sliced key schedule 1602 sub r12, #48 @ place for tweak[9] 1603 1604 @ populate the key schedule 1605 mov r4, r10 @ pass key 1606 mov r5, r1 @ pass # of rounds 1607 mov sp, r12 1608 add r12, #0x90 @ pass key schedule 1609 bl _bsaes_key_convert 1610 veor q7, q7, q15 @ fix up last round key 1611 vstmia r12, {q7} @ save last round key 1612 #else 1613 ldr r12, [r10, #244] 1614 eors r12, #1 1615 beq 0f 1616 1617 str r12, [r10, #244] 1618 mov r4, r10 @ pass key 1619 mov r5, r1 @ pass # of rounds 1620 add r12, r10, #248 @ pass key schedule 1621 bl _bsaes_key_convert 1622 veor q7, q7, q15 @ fix up last round key 1623 vstmia r12, {q7} 1624 1625 .align 2 1626 sub sp, #0x90 @ place for tweak[9] 1627 #endif 1628 1629 vld1.8 {q8}, [r0] @ initial tweak 1630 adr r2, .Lxts_magic 1631 1632 subs r9, #0x80 1633 blo .Lxts_enc_short 1634 b .Lxts_enc_loop 1635 1636 .align 4 1637 .Lxts_enc_loop: 1638 vldmia r2, {q5} @ load XTS magic 1639 vshr.s64 q6, q8, #63 1640 mov r0, sp 1641 vand q6, q6, q5 1642 vadd.u64 q9, q8, q8 1643 vst1.64 {q8}, [r0,:128]! 1644 vswp d13,d12 1645 vshr.s64 q7, q9, #63 1646 veor q9, q9, q6 1647 vand q7, q7, q5 1648 vadd.u64 q10, q9, q9 1649 vst1.64 {q9}, [r0,:128]! 1650 vswp d15,d14 1651 vshr.s64 q6, q10, #63 1652 veor q10, q10, q7 1653 vand q6, q6, q5 1654 vld1.8 {q0}, [r7]! 1655 vadd.u64 q11, q10, q10 1656 vst1.64 {q10}, [r0,:128]! 1657 vswp d13,d12 1658 vshr.s64 q7, q11, #63 1659 veor q11, q11, q6 1660 vand q7, q7, q5 1661 vld1.8 {q1}, [r7]! 1662 veor q0, q0, q8 1663 vadd.u64 q12, q11, q11 1664 vst1.64 {q11}, [r0,:128]! 1665 vswp d15,d14 1666 vshr.s64 q6, q12, #63 1667 veor q12, q12, q7 1668 vand q6, q6, q5 1669 vld1.8 {q2}, [r7]! 1670 veor q1, q1, q9 1671 vadd.u64 q13, q12, q12 1672 vst1.64 {q12}, [r0,:128]! 1673 vswp d13,d12 1674 vshr.s64 q7, q13, #63 1675 veor q13, q13, q6 1676 vand q7, q7, q5 1677 vld1.8 {q3}, [r7]! 1678 veor q2, q2, q10 1679 vadd.u64 q14, q13, q13 1680 vst1.64 {q13}, [r0,:128]! 1681 vswp d15,d14 1682 vshr.s64 q6, q14, #63 1683 veor q14, q14, q7 1684 vand q6, q6, q5 1685 vld1.8 {q4}, [r7]! 1686 veor q3, q3, q11 1687 vadd.u64 q15, q14, q14 1688 vst1.64 {q14}, [r0,:128]! 1689 vswp d13,d12 1690 vshr.s64 q7, q15, #63 1691 veor q15, q15, q6 1692 vand q7, q7, q5 1693 vld1.8 {q5}, [r7]! 1694 veor q4, q4, q12 1695 vadd.u64 q8, q15, q15 1696 vst1.64 {q15}, [r0,:128]! 1697 vswp d15,d14 1698 veor q8, q8, q7 1699 vst1.64 {q8}, [r0,:128] @ next round tweak 1700 1701 vld1.8 {q6,q7}, [r7]! 1702 veor q5, q5, q13 1703 #ifndef BSAES_ASM_EXTENDED_KEY 1704 add r4, sp, #0x90 @ pass key schedule 1705 #else 1706 add r4, r10, #248 @ pass key schedule 1707 #endif 1708 veor q6, q6, q14 1709 mov r5, r1 @ pass rounds 1710 veor q7, q7, q15 1711 mov r0, sp 1712 1713 bl _bsaes_encrypt8 1714 1715 vld1.64 {q8,q9}, [r0,:128]! 1716 vld1.64 {q10,q11}, [r0,:128]! 1717 veor q0, q0, q8 1718 vld1.64 {q12,q13}, [r0,:128]! 1719 veor q1, q1, q9 1720 veor q8, q4, q10 1721 vst1.8 {q0,q1}, [r8]! 1722 veor q9, q6, q11 1723 vld1.64 {q14,q15}, [r0,:128]! 1724 veor q10, q3, q12 1725 vst1.8 {q8,q9}, [r8]! 1726 veor q11, q7, q13 1727 veor q12, q2, q14 1728 vst1.8 {q10,q11}, [r8]! 1729 veor q13, q5, q15 1730 vst1.8 {q12,q13}, [r8]! 1731 1732 vld1.64 {q8}, [r0,:128] @ next round tweak 1733 1734 subs r9, #0x80 1735 bpl .Lxts_enc_loop 1736 1737 .Lxts_enc_short: 1738 adds r9, #0x70 1739 bmi .Lxts_enc_done 1740 1741 vldmia r2, {q5} @ load XTS magic 1742 vshr.s64 q7, q8, #63 1743 mov r0, sp 1744 vand q7, q7, q5 1745 vadd.u64 q9, q8, q8 1746 vst1.64 {q8}, [r0,:128]! 1747 vswp d15,d14 1748 vshr.s64 q6, q9, #63 1749 veor q9, q9, q7 1750 vand q6, q6, q5 1751 vadd.u64 q10, q9, q9 1752 vst1.64 {q9}, [r0,:128]! 1753 vswp d13,d12 1754 vshr.s64 q7, q10, #63 1755 veor q10, q10, q6 1756 vand q7, q7, q5 1757 vld1.8 {q0}, [r7]! 1758 subs r9, #0x10 1759 bmi .Lxts_enc_1 1760 vadd.u64 q11, q10, q10 1761 vst1.64 {q10}, [r0,:128]! 1762 vswp d15,d14 1763 vshr.s64 q6, q11, #63 1764 veor q11, q11, q7 1765 vand q6, q6, q5 1766 vld1.8 {q1}, [r7]! 1767 subs r9, #0x10 1768 bmi .Lxts_enc_2 1769 veor q0, q0, q8 1770 vadd.u64 q12, q11, q11 1771 vst1.64 {q11}, [r0,:128]! 1772 vswp d13,d12 1773 vshr.s64 q7, q12, #63 1774 veor q12, q12, q6 1775 vand q7, q7, q5 1776 vld1.8 {q2}, [r7]! 1777 subs r9, #0x10 1778 bmi .Lxts_enc_3 1779 veor q1, q1, q9 1780 vadd.u64 q13, q12, q12 1781 vst1.64 {q12}, [r0,:128]! 1782 vswp d15,d14 1783 vshr.s64 q6, q13, #63 1784 veor q13, q13, q7 1785 vand q6, q6, q5 1786 vld1.8 {q3}, [r7]! 1787 subs r9, #0x10 1788 bmi .Lxts_enc_4 1789 veor q2, q2, q10 1790 vadd.u64 q14, q13, q13 1791 vst1.64 {q13}, [r0,:128]! 1792 vswp d13,d12 1793 vshr.s64 q7, q14, #63 1794 veor q14, q14, q6 1795 vand q7, q7, q5 1796 vld1.8 {q4}, [r7]! 1797 subs r9, #0x10 1798 bmi .Lxts_enc_5 1799 veor q3, q3, q11 1800 vadd.u64 q15, q14, q14 1801 vst1.64 {q14}, [r0,:128]! 1802 vswp d15,d14 1803 vshr.s64 q6, q15, #63 1804 veor q15, q15, q7 1805 vand q6, q6, q5 1806 vld1.8 {q5}, [r7]! 1807 subs r9, #0x10 1808 bmi .Lxts_enc_6 1809 veor q4, q4, q12 1810 sub r9, #0x10 1811 vst1.64 {q15}, [r0,:128] @ next round tweak 1812 1813 vld1.8 {q6}, [r7]! 1814 veor q5, q5, q13 1815 #ifndef BSAES_ASM_EXTENDED_KEY 1816 add r4, sp, #0x90 @ pass key schedule 1817 #else 1818 add r4, r10, #248 @ pass key schedule 1819 #endif 1820 veor q6, q6, q14 1821 mov r5, r1 @ pass rounds 1822 mov r0, sp 1823 1824 bl _bsaes_encrypt8 1825 1826 vld1.64 {q8,q9}, [r0,:128]! 1827 vld1.64 {q10,q11}, [r0,:128]! 1828 veor q0, q0, q8 1829 vld1.64 {q12,q13}, [r0,:128]! 1830 veor q1, q1, q9 1831 veor q8, q4, q10 1832 vst1.8 {q0,q1}, [r8]! 1833 veor q9, q6, q11 1834 vld1.64 {q14}, [r0,:128]! 1835 veor q10, q3, q12 1836 vst1.8 {q8,q9}, [r8]! 1837 veor q11, q7, q13 1838 veor q12, q2, q14 1839 vst1.8 {q10,q11}, [r8]! 1840 vst1.8 {q12}, [r8]! 1841 1842 vld1.64 {q8}, [r0,:128] @ next round tweak 1843 b .Lxts_enc_done 1844 .align 4 1845 .Lxts_enc_6: 1846 vst1.64 {q14}, [r0,:128] @ next round tweak 1847 1848 veor q4, q4, q12 1849 #ifndef BSAES_ASM_EXTENDED_KEY 1850 add r4, sp, #0x90 @ pass key schedule 1851 #else 1852 add r4, r10, #248 @ pass key schedule 1853 #endif 1854 veor q5, q5, q13 1855 mov r5, r1 @ pass rounds 1856 mov r0, sp 1857 1858 bl _bsaes_encrypt8 1859 1860 vld1.64 {q8,q9}, [r0,:128]! 1861 vld1.64 {q10,q11}, [r0,:128]! 1862 veor q0, q0, q8 1863 vld1.64 {q12,q13}, [r0,:128]! 1864 veor q1, q1, q9 1865 veor q8, q4, q10 1866 vst1.8 {q0,q1}, [r8]! 1867 veor q9, q6, q11 1868 veor q10, q3, q12 1869 vst1.8 {q8,q9}, [r8]! 1870 veor q11, q7, q13 1871 vst1.8 {q10,q11}, [r8]! 1872 1873 vld1.64 {q8}, [r0,:128] @ next round tweak 1874 b .Lxts_enc_done 1875 1876 @ put this in range for both ARM and Thumb mode adr instructions 1877 .align 5 1878 .Lxts_magic: 1879 .quad 1, 0x87 1880 1881 .align 5 1882 .Lxts_enc_5: 1883 vst1.64 {q13}, [r0,:128] @ next round tweak 1884 1885 veor q3, q3, q11 1886 #ifndef BSAES_ASM_EXTENDED_KEY 1887 add r4, sp, #0x90 @ pass key schedule 1888 #else 1889 add r4, r10, #248 @ pass key schedule 1890 #endif 1891 veor q4, q4, q12 1892 mov r5, r1 @ pass rounds 1893 mov r0, sp 1894 1895 bl _bsaes_encrypt8 1896 1897 vld1.64 {q8,q9}, [r0,:128]! 1898 vld1.64 {q10,q11}, [r0,:128]! 1899 veor q0, q0, q8 1900 vld1.64 {q12}, [r0,:128]! 1901 veor q1, q1, q9 1902 veor q8, q4, q10 1903 vst1.8 {q0,q1}, [r8]! 1904 veor q9, q6, q11 1905 veor q10, q3, q12 1906 vst1.8 {q8,q9}, [r8]! 1907 vst1.8 {q10}, [r8]! 1908 1909 vld1.64 {q8}, [r0,:128] @ next round tweak 1910 b .Lxts_enc_done 1911 .align 4 1912 .Lxts_enc_4: 1913 vst1.64 {q12}, [r0,:128] @ next round tweak 1914 1915 veor q2, q2, q10 1916 #ifndef BSAES_ASM_EXTENDED_KEY 1917 add r4, sp, #0x90 @ pass key schedule 1918 #else 1919 add r4, r10, #248 @ pass key schedule 1920 #endif 1921 veor q3, q3, q11 1922 mov r5, r1 @ pass rounds 1923 mov r0, sp 1924 1925 bl _bsaes_encrypt8 1926 1927 vld1.64 {q8,q9}, [r0,:128]! 1928 vld1.64 {q10,q11}, [r0,:128]! 1929 veor q0, q0, q8 1930 veor q1, q1, q9 1931 veor q8, q4, q10 1932 vst1.8 {q0,q1}, [r8]! 1933 veor q9, q6, q11 1934 vst1.8 {q8,q9}, [r8]! 1935 1936 vld1.64 {q8}, [r0,:128] @ next round tweak 1937 b .Lxts_enc_done 1938 .align 4 1939 .Lxts_enc_3: 1940 vst1.64 {q11}, [r0,:128] @ next round tweak 1941 1942 veor q1, q1, q9 1943 #ifndef BSAES_ASM_EXTENDED_KEY 1944 add r4, sp, #0x90 @ pass key schedule 1945 #else 1946 add r4, r10, #248 @ pass key schedule 1947 #endif 1948 veor q2, q2, q10 1949 mov r5, r1 @ pass rounds 1950 mov r0, sp 1951 1952 bl _bsaes_encrypt8 1953 1954 vld1.64 {q8,q9}, [r0,:128]! 1955 vld1.64 {q10}, [r0,:128]! 1956 veor q0, q0, q8 1957 veor q1, q1, q9 1958 veor q8, q4, q10 1959 vst1.8 {q0,q1}, [r8]! 1960 vst1.8 {q8}, [r8]! 1961 1962 vld1.64 {q8}, [r0,:128] @ next round tweak 1963 b .Lxts_enc_done 1964 .align 4 1965 .Lxts_enc_2: 1966 vst1.64 {q10}, [r0,:128] @ next round tweak 1967 1968 veor q0, q0, q8 1969 #ifndef BSAES_ASM_EXTENDED_KEY 1970 add r4, sp, #0x90 @ pass key schedule 1971 #else 1972 add r4, r10, #248 @ pass key schedule 1973 #endif 1974 veor q1, q1, q9 1975 mov r5, r1 @ pass rounds 1976 mov r0, sp 1977 1978 bl _bsaes_encrypt8 1979 1980 vld1.64 {q8,q9}, [r0,:128]! 1981 veor q0, q0, q8 1982 veor q1, q1, q9 1983 vst1.8 {q0,q1}, [r8]! 1984 1985 vld1.64 {q8}, [r0,:128] @ next round tweak 1986 b .Lxts_enc_done 1987 .align 4 1988 .Lxts_enc_1: 1989 mov r0, sp 1990 veor q0, q8 1991 mov r1, sp 1992 vst1.8 {q0}, [sp,:128] 1993 mov r2, r10 1994 mov r4, r3 @ preserve fp 1995 1996 bl AES_encrypt 1997 1998 vld1.8 {q0}, [sp,:128] 1999 veor q0, q0, q8 2000 vst1.8 {q0}, [r8]! 2001 mov r3, r4 2002 2003 vmov q8, q9 @ next round tweak 2004 2005 .Lxts_enc_done: 2006 #ifndef XTS_CHAIN_TWEAK 2007 adds r9, #0x10 2008 beq .Lxts_enc_ret 2009 sub r6, r8, #0x10 2010 2011 .Lxts_enc_steal: 2012 ldrb r0, [r7], #1 2013 ldrb r1, [r8, #-0x10] 2014 strb r0, [r8, #-0x10] 2015 strb r1, [r8], #1 2016 2017 subs r9, #1 2018 bhi .Lxts_enc_steal 2019 2020 vld1.8 {q0}, [r6] 2021 mov r0, sp 2022 veor q0, q0, q8 2023 mov r1, sp 2024 vst1.8 {q0}, [sp,:128] 2025 mov r2, r10 2026 mov r4, r3 @ preserve fp 2027 2028 bl AES_encrypt 2029 2030 vld1.8 {q0}, [sp,:128] 2031 veor q0, q0, q8 2032 vst1.8 {q0}, [r6] 2033 mov r3, r4 2034 #endif 2035 2036 .Lxts_enc_ret: 2037 bic r0, r3, #0xf 2038 vmov.i32 q0, #0 2039 vmov.i32 q1, #0 2040 #ifdef XTS_CHAIN_TWEAK 2041 ldr r1, [r3, #0x20+VFP_ABI_FRAME] @ chain tweak 2042 #endif 2043 .Lxts_enc_bzero:@ wipe key schedule [if any] 2044 vstmia sp!, {q0,q1} 2045 cmp sp, r0 2046 bne .Lxts_enc_bzero 2047 2048 mov sp, r3 2049 #ifdef XTS_CHAIN_TWEAK 2050 vst1.8 {q8}, [r1] 2051 #endif 2052 VFP_ABI_POP 2053 ldmia sp!, {r4,r5,r6,r7,r8,r9,r10, pc} @ return 2054 2055 .size bsaes_xts_encrypt,.-bsaes_xts_encrypt 2056 2057 .globl bsaes_xts_decrypt 2058 .hidden bsaes_xts_decrypt 2059 .type bsaes_xts_decrypt,%function 2060 .align 4 2061 bsaes_xts_decrypt: 2062 mov ip, sp 2063 stmdb sp!, {r4,r5,r6,r7,r8,r9,r10, lr} @ 0x20 2064 VFP_ABI_PUSH 2065 mov r6, sp @ future r3 2066 2067 mov r7, r0 2068 mov r8, r1 2069 mov r9, r2 2070 mov r10, r3 2071 2072 sub r0, sp, #0x10 @ 0x10 2073 bic r0, #0xf @ align at 16 bytes 2074 mov sp, r0 2075 2076 #ifdef XTS_CHAIN_TWEAK 2077 ldr r0, [ip] @ pointer to input tweak 2078 #else 2079 @ generate initial tweak 2080 ldr r0, [ip, #4] @ iv[] 2081 mov r1, sp 2082 ldr r2, [ip, #0] @ key2 2083 bl AES_encrypt 2084 mov r0, sp @ pointer to initial tweak 2085 #endif 2086 2087 ldr r1, [r10, #240] @ get # of rounds 2088 mov r3, r6 2089 #ifndef BSAES_ASM_EXTENDED_KEY 2090 @ allocate the key schedule on the stack 2091 sub r12, sp, r1, lsl#7 @ 128 bytes per inner round key 2092 @ add r12, #96 @ size of bit-sliced key schedule 2093 sub r12, #48 @ place for tweak[9] 2094 2095 @ populate the key schedule 2096 mov r4, r10 @ pass key 2097 mov r5, r1 @ pass # of rounds 2098 mov sp, r12 2099 add r12, #0x90 @ pass key schedule 2100 bl _bsaes_key_convert 2101 add r4, sp, #0x90 2102 vldmia r4, {q6} 2103 vstmia r12, {q15} @ save last round key 2104 veor q7, q7, q6 @ fix up round 0 key 2105 vstmia r4, {q7} 2106 #else 2107 ldr r12, [r10, #244] 2108 eors r12, #1 2109 beq 0f 2110 2111 str r12, [r10, #244] 2112 mov r4, r10 @ pass key 2113 mov r5, r1 @ pass # of rounds 2114 add r12, r10, #248 @ pass key schedule 2115 bl _bsaes_key_convert 2116 add r4, r10, #248 2117 vldmia r4, {q6} 2118 vstmia r12, {q15} @ save last round key 2119 veor q7, q7, q6 @ fix up round 0 key 2120 vstmia r4, {q7} 2121 2122 .align 2 2123 sub sp, #0x90 @ place for tweak[9] 2124 #endif 2125 vld1.8 {q8}, [r0] @ initial tweak 2126 adr r2, .Lxts_magic 2127 2128 #ifndef XTS_CHAIN_TWEAK 2129 tst r9, #0xf @ if not multiple of 16 2130 it ne @ Thumb2 thing, sanity check in ARM 2131 subne r9, #0x10 @ subtract another 16 bytes 2132 #endif 2133 subs r9, #0x80 2134 2135 blo .Lxts_dec_short 2136 b .Lxts_dec_loop 2137 2138 .align 4 2139 .Lxts_dec_loop: 2140 vldmia r2, {q5} @ load XTS magic 2141 vshr.s64 q6, q8, #63 2142 mov r0, sp 2143 vand q6, q6, q5 2144 vadd.u64 q9, q8, q8 2145 vst1.64 {q8}, [r0,:128]! 2146 vswp d13,d12 2147 vshr.s64 q7, q9, #63 2148 veor q9, q9, q6 2149 vand q7, q7, q5 2150 vadd.u64 q10, q9, q9 2151 vst1.64 {q9}, [r0,:128]! 2152 vswp d15,d14 2153 vshr.s64 q6, q10, #63 2154 veor q10, q10, q7 2155 vand q6, q6, q5 2156 vld1.8 {q0}, [r7]! 2157 vadd.u64 q11, q10, q10 2158 vst1.64 {q10}, [r0,:128]! 2159 vswp d13,d12 2160 vshr.s64 q7, q11, #63 2161 veor q11, q11, q6 2162 vand q7, q7, q5 2163 vld1.8 {q1}, [r7]! 2164 veor q0, q0, q8 2165 vadd.u64 q12, q11, q11 2166 vst1.64 {q11}, [r0,:128]! 2167 vswp d15,d14 2168 vshr.s64 q6, q12, #63 2169 veor q12, q12, q7 2170 vand q6, q6, q5 2171 vld1.8 {q2}, [r7]! 2172 veor q1, q1, q9 2173 vadd.u64 q13, q12, q12 2174 vst1.64 {q12}, [r0,:128]! 2175 vswp d13,d12 2176 vshr.s64 q7, q13, #63 2177 veor q13, q13, q6 2178 vand q7, q7, q5 2179 vld1.8 {q3}, [r7]! 2180 veor q2, q2, q10 2181 vadd.u64 q14, q13, q13 2182 vst1.64 {q13}, [r0,:128]! 2183 vswp d15,d14 2184 vshr.s64 q6, q14, #63 2185 veor q14, q14, q7 2186 vand q6, q6, q5 2187 vld1.8 {q4}, [r7]! 2188 veor q3, q3, q11 2189 vadd.u64 q15, q14, q14 2190 vst1.64 {q14}, [r0,:128]! 2191 vswp d13,d12 2192 vshr.s64 q7, q15, #63 2193 veor q15, q15, q6 2194 vand q7, q7, q5 2195 vld1.8 {q5}, [r7]! 2196 veor q4, q4, q12 2197 vadd.u64 q8, q15, q15 2198 vst1.64 {q15}, [r0,:128]! 2199 vswp d15,d14 2200 veor q8, q8, q7 2201 vst1.64 {q8}, [r0,:128] @ next round tweak 2202 2203 vld1.8 {q6,q7}, [r7]! 2204 veor q5, q5, q13 2205 #ifndef BSAES_ASM_EXTENDED_KEY 2206 add r4, sp, #0x90 @ pass key schedule 2207 #else 2208 add r4, r10, #248 @ pass key schedule 2209 #endif 2210 veor q6, q6, q14 2211 mov r5, r1 @ pass rounds 2212 veor q7, q7, q15 2213 mov r0, sp 2214 2215 bl _bsaes_decrypt8 2216 2217 vld1.64 {q8,q9}, [r0,:128]! 2218 vld1.64 {q10,q11}, [r0,:128]! 2219 veor q0, q0, q8 2220 vld1.64 {q12,q13}, [r0,:128]! 2221 veor q1, q1, q9 2222 veor q8, q6, q10 2223 vst1.8 {q0,q1}, [r8]! 2224 veor q9, q4, q11 2225 vld1.64 {q14,q15}, [r0,:128]! 2226 veor q10, q2, q12 2227 vst1.8 {q8,q9}, [r8]! 2228 veor q11, q7, q13 2229 veor q12, q3, q14 2230 vst1.8 {q10,q11}, [r8]! 2231 veor q13, q5, q15 2232 vst1.8 {q12,q13}, [r8]! 2233 2234 vld1.64 {q8}, [r0,:128] @ next round tweak 2235 2236 subs r9, #0x80 2237 bpl .Lxts_dec_loop 2238 2239 .Lxts_dec_short: 2240 adds r9, #0x70 2241 bmi .Lxts_dec_done 2242 2243 vldmia r2, {q5} @ load XTS magic 2244 vshr.s64 q7, q8, #63 2245 mov r0, sp 2246 vand q7, q7, q5 2247 vadd.u64 q9, q8, q8 2248 vst1.64 {q8}, [r0,:128]! 2249 vswp d15,d14 2250 vshr.s64 q6, q9, #63 2251 veor q9, q9, q7 2252 vand q6, q6, q5 2253 vadd.u64 q10, q9, q9 2254 vst1.64 {q9}, [r0,:128]! 2255 vswp d13,d12 2256 vshr.s64 q7, q10, #63 2257 veor q10, q10, q6 2258 vand q7, q7, q5 2259 vld1.8 {q0}, [r7]! 2260 subs r9, #0x10 2261 bmi .Lxts_dec_1 2262 vadd.u64 q11, q10, q10 2263 vst1.64 {q10}, [r0,:128]! 2264 vswp d15,d14 2265 vshr.s64 q6, q11, #63 2266 veor q11, q11, q7 2267 vand q6, q6, q5 2268 vld1.8 {q1}, [r7]! 2269 subs r9, #0x10 2270 bmi .Lxts_dec_2 2271 veor q0, q0, q8 2272 vadd.u64 q12, q11, q11 2273 vst1.64 {q11}, [r0,:128]! 2274 vswp d13,d12 2275 vshr.s64 q7, q12, #63 2276 veor q12, q12, q6 2277 vand q7, q7, q5 2278 vld1.8 {q2}, [r7]! 2279 subs r9, #0x10 2280 bmi .Lxts_dec_3 2281 veor q1, q1, q9 2282 vadd.u64 q13, q12, q12 2283 vst1.64 {q12}, [r0,:128]! 2284 vswp d15,d14 2285 vshr.s64 q6, q13, #63 2286 veor q13, q13, q7 2287 vand q6, q6, q5 2288 vld1.8 {q3}, [r7]! 2289 subs r9, #0x10 2290 bmi .Lxts_dec_4 2291 veor q2, q2, q10 2292 vadd.u64 q14, q13, q13 2293 vst1.64 {q13}, [r0,:128]! 2294 vswp d13,d12 2295 vshr.s64 q7, q14, #63 2296 veor q14, q14, q6 2297 vand q7, q7, q5 2298 vld1.8 {q4}, [r7]! 2299 subs r9, #0x10 2300 bmi .Lxts_dec_5 2301 veor q3, q3, q11 2302 vadd.u64 q15, q14, q14 2303 vst1.64 {q14}, [r0,:128]! 2304 vswp d15,d14 2305 vshr.s64 q6, q15, #63 2306 veor q15, q15, q7 2307 vand q6, q6, q5 2308 vld1.8 {q5}, [r7]! 2309 subs r9, #0x10 2310 bmi .Lxts_dec_6 2311 veor q4, q4, q12 2312 sub r9, #0x10 2313 vst1.64 {q15}, [r0,:128] @ next round tweak 2314 2315 vld1.8 {q6}, [r7]! 2316 veor q5, q5, q13 2317 #ifndef BSAES_ASM_EXTENDED_KEY 2318 add r4, sp, #0x90 @ pass key schedule 2319 #else 2320 add r4, r10, #248 @ pass key schedule 2321 #endif 2322 veor q6, q6, q14 2323 mov r5, r1 @ pass rounds 2324 mov r0, sp 2325 2326 bl _bsaes_decrypt8 2327 2328 vld1.64 {q8,q9}, [r0,:128]! 2329 vld1.64 {q10,q11}, [r0,:128]! 2330 veor q0, q0, q8 2331 vld1.64 {q12,q13}, [r0,:128]! 2332 veor q1, q1, q9 2333 veor q8, q6, q10 2334 vst1.8 {q0,q1}, [r8]! 2335 veor q9, q4, q11 2336 vld1.64 {q14}, [r0,:128]! 2337 veor q10, q2, q12 2338 vst1.8 {q8,q9}, [r8]! 2339 veor q11, q7, q13 2340 veor q12, q3, q14 2341 vst1.8 {q10,q11}, [r8]! 2342 vst1.8 {q12}, [r8]! 2343 2344 vld1.64 {q8}, [r0,:128] @ next round tweak 2345 b .Lxts_dec_done 2346 .align 4 2347 .Lxts_dec_6: 2348 vst1.64 {q14}, [r0,:128] @ next round tweak 2349 2350 veor q4, q4, q12 2351 #ifndef BSAES_ASM_EXTENDED_KEY 2352 add r4, sp, #0x90 @ pass key schedule 2353 #else 2354 add r4, r10, #248 @ pass key schedule 2355 #endif 2356 veor q5, q5, q13 2357 mov r5, r1 @ pass rounds 2358 mov r0, sp 2359 2360 bl _bsaes_decrypt8 2361 2362 vld1.64 {q8,q9}, [r0,:128]! 2363 vld1.64 {q10,q11}, [r0,:128]! 2364 veor q0, q0, q8 2365 vld1.64 {q12,q13}, [r0,:128]! 2366 veor q1, q1, q9 2367 veor q8, q6, q10 2368 vst1.8 {q0,q1}, [r8]! 2369 veor q9, q4, q11 2370 veor q10, q2, q12 2371 vst1.8 {q8,q9}, [r8]! 2372 veor q11, q7, q13 2373 vst1.8 {q10,q11}, [r8]! 2374 2375 vld1.64 {q8}, [r0,:128] @ next round tweak 2376 b .Lxts_dec_done 2377 .align 4 2378 .Lxts_dec_5: 2379 vst1.64 {q13}, [r0,:128] @ next round tweak 2380 2381 veor q3, q3, q11 2382 #ifndef BSAES_ASM_EXTENDED_KEY 2383 add r4, sp, #0x90 @ pass key schedule 2384 #else 2385 add r4, r10, #248 @ pass key schedule 2386 #endif 2387 veor q4, q4, q12 2388 mov r5, r1 @ pass rounds 2389 mov r0, sp 2390 2391 bl _bsaes_decrypt8 2392 2393 vld1.64 {q8,q9}, [r0,:128]! 2394 vld1.64 {q10,q11}, [r0,:128]! 2395 veor q0, q0, q8 2396 vld1.64 {q12}, [r0,:128]! 2397 veor q1, q1, q9 2398 veor q8, q6, q10 2399 vst1.8 {q0,q1}, [r8]! 2400 veor q9, q4, q11 2401 veor q10, q2, q12 2402 vst1.8 {q8,q9}, [r8]! 2403 vst1.8 {q10}, [r8]! 2404 2405 vld1.64 {q8}, [r0,:128] @ next round tweak 2406 b .Lxts_dec_done 2407 .align 4 2408 .Lxts_dec_4: 2409 vst1.64 {q12}, [r0,:128] @ next round tweak 2410 2411 veor q2, q2, q10 2412 #ifndef BSAES_ASM_EXTENDED_KEY 2413 add r4, sp, #0x90 @ pass key schedule 2414 #else 2415 add r4, r10, #248 @ pass key schedule 2416 #endif 2417 veor q3, q3, q11 2418 mov r5, r1 @ pass rounds 2419 mov r0, sp 2420 2421 bl _bsaes_decrypt8 2422 2423 vld1.64 {q8,q9}, [r0,:128]! 2424 vld1.64 {q10,q11}, [r0,:128]! 2425 veor q0, q0, q8 2426 veor q1, q1, q9 2427 veor q8, q6, q10 2428 vst1.8 {q0,q1}, [r8]! 2429 veor q9, q4, q11 2430 vst1.8 {q8,q9}, [r8]! 2431 2432 vld1.64 {q8}, [r0,:128] @ next round tweak 2433 b .Lxts_dec_done 2434 .align 4 2435 .Lxts_dec_3: 2436 vst1.64 {q11}, [r0,:128] @ next round tweak 2437 2438 veor q1, q1, q9 2439 #ifndef BSAES_ASM_EXTENDED_KEY 2440 add r4, sp, #0x90 @ pass key schedule 2441 #else 2442 add r4, r10, #248 @ pass key schedule 2443 #endif 2444 veor q2, q2, q10 2445 mov r5, r1 @ pass rounds 2446 mov r0, sp 2447 2448 bl _bsaes_decrypt8 2449 2450 vld1.64 {q8,q9}, [r0,:128]! 2451 vld1.64 {q10}, [r0,:128]! 2452 veor q0, q0, q8 2453 veor q1, q1, q9 2454 veor q8, q6, q10 2455 vst1.8 {q0,q1}, [r8]! 2456 vst1.8 {q8}, [r8]! 2457 2458 vld1.64 {q8}, [r0,:128] @ next round tweak 2459 b .Lxts_dec_done 2460 .align 4 2461 .Lxts_dec_2: 2462 vst1.64 {q10}, [r0,:128] @ next round tweak 2463 2464 veor q0, q0, q8 2465 #ifndef BSAES_ASM_EXTENDED_KEY 2466 add r4, sp, #0x90 @ pass key schedule 2467 #else 2468 add r4, r10, #248 @ pass key schedule 2469 #endif 2470 veor q1, q1, q9 2471 mov r5, r1 @ pass rounds 2472 mov r0, sp 2473 2474 bl _bsaes_decrypt8 2475 2476 vld1.64 {q8,q9}, [r0,:128]! 2477 veor q0, q0, q8 2478 veor q1, q1, q9 2479 vst1.8 {q0,q1}, [r8]! 2480 2481 vld1.64 {q8}, [r0,:128] @ next round tweak 2482 b .Lxts_dec_done 2483 .align 4 2484 .Lxts_dec_1: 2485 mov r0, sp 2486 veor q0, q8 2487 mov r1, sp 2488 vst1.8 {q0}, [sp,:128] 2489 mov r2, r10 2490 mov r4, r3 @ preserve fp 2491 mov r5, r2 @ preserve magic 2492 2493 bl AES_decrypt 2494 2495 vld1.8 {q0}, [sp,:128] 2496 veor q0, q0, q8 2497 vst1.8 {q0}, [r8]! 2498 mov r3, r4 2499 mov r2, r5 2500 2501 vmov q8, q9 @ next round tweak 2502 2503 .Lxts_dec_done: 2504 #ifndef XTS_CHAIN_TWEAK 2505 adds r9, #0x10 2506 beq .Lxts_dec_ret 2507 2508 @ calculate one round of extra tweak for the stolen ciphertext 2509 vldmia r2, {q5} 2510 vshr.s64 q6, q8, #63 2511 vand q6, q6, q5 2512 vadd.u64 q9, q8, q8 2513 vswp d13,d12 2514 veor q9, q9, q6 2515 2516 @ perform the final decryption with the last tweak value 2517 vld1.8 {q0}, [r7]! 2518 mov r0, sp 2519 veor q0, q0, q9 2520 mov r1, sp 2521 vst1.8 {q0}, [sp,:128] 2522 mov r2, r10 2523 mov r4, r3 @ preserve fp 2524 2525 bl AES_decrypt 2526 2527 vld1.8 {q0}, [sp,:128] 2528 veor q0, q0, q9 2529 vst1.8 {q0}, [r8] 2530 2531 mov r6, r8 2532 .Lxts_dec_steal: 2533 ldrb r1, [r8] 2534 ldrb r0, [r7], #1 2535 strb r1, [r8, #0x10] 2536 strb r0, [r8], #1 2537 2538 subs r9, #1 2539 bhi .Lxts_dec_steal 2540 2541 vld1.8 {q0}, [r6] 2542 mov r0, sp 2543 veor q0, q8 2544 mov r1, sp 2545 vst1.8 {q0}, [sp,:128] 2546 mov r2, r10 2547 2548 bl AES_decrypt 2549 2550 vld1.8 {q0}, [sp,:128] 2551 veor q0, q0, q8 2552 vst1.8 {q0}, [r6] 2553 mov r3, r4 2554 #endif 2555 2556 .Lxts_dec_ret: 2557 bic r0, r3, #0xf 2558 vmov.i32 q0, #0 2559 vmov.i32 q1, #0 2560 #ifdef XTS_CHAIN_TWEAK 2561 ldr r1, [r3, #0x20+VFP_ABI_FRAME] @ chain tweak 2562 #endif 2563 .Lxts_dec_bzero:@ wipe key schedule [if any] 2564 vstmia sp!, {q0,q1} 2565 cmp sp, r0 2566 bne .Lxts_dec_bzero 2567 2568 mov sp, r3 2569 #ifdef XTS_CHAIN_TWEAK 2570 vst1.8 {q8}, [r1] 2571 #endif 2572 VFP_ABI_POP 2573 ldmia sp!, {r4,r5,r6,r7,r8,r9,r10, pc} @ return 2574 2575 .size bsaes_xts_decrypt,.-bsaes_xts_decrypt 2576 #endif 2577 #endif
