1 #if defined(__x86_64__) 2 .text 3 4 5 6 7 8 .p2align 6 9 _bsaes_encrypt8: 10 leaq L$BS0(%rip),%r11 11 12 movdqa (%rax),%xmm8 13 leaq 16(%rax),%rax 14 movdqa 80(%r11),%xmm7 15 pxor %xmm8,%xmm15 16 pxor %xmm8,%xmm0 17 pxor %xmm8,%xmm1 18 pxor %xmm8,%xmm2 19 .byte 102,68,15,56,0,255 20 .byte 102,15,56,0,199 21 pxor %xmm8,%xmm3 22 pxor %xmm8,%xmm4 23 .byte 102,15,56,0,207 24 .byte 102,15,56,0,215 25 pxor %xmm8,%xmm5 26 pxor %xmm8,%xmm6 27 .byte 102,15,56,0,223 28 .byte 102,15,56,0,231 29 .byte 102,15,56,0,239 30 .byte 102,15,56,0,247 31 _bsaes_encrypt8_bitslice: 32 movdqa 0(%r11),%xmm7 33 movdqa 16(%r11),%xmm8 34 movdqa %xmm5,%xmm9 35 psrlq $1,%xmm5 36 movdqa %xmm3,%xmm10 37 psrlq $1,%xmm3 38 pxor %xmm6,%xmm5 39 pxor %xmm4,%xmm3 40 pand %xmm7,%xmm5 41 pand %xmm7,%xmm3 42 pxor %xmm5,%xmm6 43 psllq $1,%xmm5 44 pxor %xmm3,%xmm4 45 psllq $1,%xmm3 46 pxor %xmm9,%xmm5 47 pxor %xmm10,%xmm3 48 movdqa %xmm1,%xmm9 49 psrlq $1,%xmm1 50 movdqa %xmm15,%xmm10 51 psrlq $1,%xmm15 52 pxor %xmm2,%xmm1 53 pxor %xmm0,%xmm15 54 pand %xmm7,%xmm1 55 pand %xmm7,%xmm15 56 pxor %xmm1,%xmm2 57 psllq $1,%xmm1 58 pxor %xmm15,%xmm0 59 psllq $1,%xmm15 60 pxor %xmm9,%xmm1 61 pxor %xmm10,%xmm15 62 movdqa 32(%r11),%xmm7 63 movdqa %xmm4,%xmm9 64 psrlq $2,%xmm4 65 movdqa %xmm3,%xmm10 66 psrlq $2,%xmm3 67 pxor %xmm6,%xmm4 68 pxor %xmm5,%xmm3 69 pand %xmm8,%xmm4 70 pand %xmm8,%xmm3 71 pxor %xmm4,%xmm6 72 psllq $2,%xmm4 73 pxor %xmm3,%xmm5 74 psllq $2,%xmm3 75 pxor %xmm9,%xmm4 76 pxor %xmm10,%xmm3 77 movdqa %xmm0,%xmm9 78 psrlq $2,%xmm0 79 movdqa %xmm15,%xmm10 80 psrlq $2,%xmm15 81 pxor %xmm2,%xmm0 82 pxor %xmm1,%xmm15 83 pand %xmm8,%xmm0 84 pand %xmm8,%xmm15 85 pxor %xmm0,%xmm2 86 psllq $2,%xmm0 87 pxor %xmm15,%xmm1 88 psllq $2,%xmm15 89 pxor %xmm9,%xmm0 90 pxor %xmm10,%xmm15 91 movdqa %xmm2,%xmm9 92 psrlq $4,%xmm2 93 movdqa %xmm1,%xmm10 94 psrlq $4,%xmm1 95 pxor %xmm6,%xmm2 96 pxor %xmm5,%xmm1 97 pand %xmm7,%xmm2 98 pand %xmm7,%xmm1 99 pxor %xmm2,%xmm6 100 psllq $4,%xmm2 101 pxor %xmm1,%xmm5 102 psllq $4,%xmm1 103 pxor %xmm9,%xmm2 104 pxor %xmm10,%xmm1 105 movdqa %xmm0,%xmm9 106 psrlq $4,%xmm0 107 movdqa %xmm15,%xmm10 108 psrlq $4,%xmm15 109 pxor %xmm4,%xmm0 110 pxor %xmm3,%xmm15 111 pand %xmm7,%xmm0 112 pand %xmm7,%xmm15 113 pxor %xmm0,%xmm4 114 psllq $4,%xmm0 115 pxor %xmm15,%xmm3 116 psllq $4,%xmm15 117 pxor %xmm9,%xmm0 118 pxor %xmm10,%xmm15 119 decl %r10d 120 jmp L$enc_sbox 121 .p2align 4 122 L$enc_loop: 123 pxor 0(%rax),%xmm15 124 pxor 16(%rax),%xmm0 125 pxor 32(%rax),%xmm1 126 pxor 48(%rax),%xmm2 127 .byte 102,68,15,56,0,255 128 .byte 102,15,56,0,199 129 pxor 64(%rax),%xmm3 130 pxor 80(%rax),%xmm4 131 .byte 102,15,56,0,207 132 .byte 102,15,56,0,215 133 pxor 96(%rax),%xmm5 134 pxor 112(%rax),%xmm6 135 .byte 102,15,56,0,223 136 .byte 102,15,56,0,231 137 .byte 102,15,56,0,239 138 .byte 102,15,56,0,247 139 leaq 128(%rax),%rax 140 L$enc_sbox: 141 pxor %xmm5,%xmm4 142 pxor %xmm0,%xmm1 143 pxor %xmm15,%xmm2 144 pxor %xmm1,%xmm5 145 pxor %xmm15,%xmm4 146 147 pxor %xmm2,%xmm5 148 pxor %xmm6,%xmm2 149 pxor %xmm4,%xmm6 150 pxor %xmm3,%xmm2 151 pxor %xmm4,%xmm3 152 pxor %xmm0,%xmm2 153 154 pxor %xmm6,%xmm1 155 pxor %xmm4,%xmm0 156 movdqa %xmm6,%xmm10 157 movdqa %xmm0,%xmm9 158 movdqa %xmm4,%xmm8 159 movdqa %xmm1,%xmm12 160 movdqa %xmm5,%xmm11 161 162 pxor %xmm3,%xmm10 163 pxor %xmm1,%xmm9 164 pxor %xmm2,%xmm8 165 movdqa %xmm10,%xmm13 166 pxor %xmm3,%xmm12 167 movdqa %xmm9,%xmm7 168 pxor %xmm15,%xmm11 169 movdqa %xmm10,%xmm14 170 171 por %xmm8,%xmm9 172 por %xmm11,%xmm10 173 pxor %xmm7,%xmm14 174 pand %xmm11,%xmm13 175 pxor %xmm8,%xmm11 176 pand %xmm8,%xmm7 177 pand %xmm11,%xmm14 178 movdqa %xmm2,%xmm11 179 pxor %xmm15,%xmm11 180 pand %xmm11,%xmm12 181 pxor %xmm12,%xmm10 182 pxor %xmm12,%xmm9 183 movdqa %xmm6,%xmm12 184 movdqa %xmm4,%xmm11 185 pxor %xmm0,%xmm12 186 pxor %xmm5,%xmm11 187 movdqa %xmm12,%xmm8 188 pand %xmm11,%xmm12 189 por %xmm11,%xmm8 190 pxor %xmm12,%xmm7 191 pxor %xmm14,%xmm10 192 pxor %xmm13,%xmm9 193 pxor %xmm14,%xmm8 194 movdqa %xmm1,%xmm11 195 pxor %xmm13,%xmm7 196 movdqa %xmm3,%xmm12 197 pxor %xmm13,%xmm8 198 movdqa %xmm0,%xmm13 199 pand %xmm2,%xmm11 200 movdqa %xmm6,%xmm14 201 pand %xmm15,%xmm12 202 pand %xmm4,%xmm13 203 por %xmm5,%xmm14 204 pxor %xmm11,%xmm10 205 pxor %xmm12,%xmm9 206 pxor %xmm13,%xmm8 207 pxor %xmm14,%xmm7 208 209 210 211 212 213 movdqa %xmm10,%xmm11 214 pand %xmm8,%xmm10 215 pxor %xmm9,%xmm11 216 217 movdqa %xmm7,%xmm13 218 movdqa %xmm11,%xmm14 219 pxor %xmm10,%xmm13 220 pand %xmm13,%xmm14 221 222 movdqa %xmm8,%xmm12 223 pxor %xmm9,%xmm14 224 pxor %xmm7,%xmm12 225 226 pxor %xmm9,%xmm10 227 228 pand %xmm10,%xmm12 229 230 movdqa %xmm13,%xmm9 231 pxor %xmm7,%xmm12 232 233 pxor %xmm12,%xmm9 234 pxor %xmm12,%xmm8 235 236 pand %xmm7,%xmm9 237 238 pxor %xmm9,%xmm13 239 pxor %xmm9,%xmm8 240 241 pand %xmm14,%xmm13 242 243 pxor %xmm11,%xmm13 244 movdqa %xmm5,%xmm11 245 movdqa %xmm4,%xmm7 246 movdqa %xmm14,%xmm9 247 pxor %xmm13,%xmm9 248 pand %xmm5,%xmm9 249 pxor %xmm4,%xmm5 250 pand %xmm14,%xmm4 251 pand %xmm13,%xmm5 252 pxor %xmm4,%xmm5 253 pxor %xmm9,%xmm4 254 pxor %xmm15,%xmm11 255 pxor %xmm2,%xmm7 256 pxor %xmm12,%xmm14 257 pxor %xmm8,%xmm13 258 movdqa %xmm14,%xmm10 259 movdqa %xmm12,%xmm9 260 pxor %xmm13,%xmm10 261 pxor %xmm8,%xmm9 262 pand %xmm11,%xmm10 263 pand %xmm15,%xmm9 264 pxor %xmm7,%xmm11 265 pxor %xmm2,%xmm15 266 pand %xmm14,%xmm7 267 pand %xmm12,%xmm2 268 pand %xmm13,%xmm11 269 pand %xmm8,%xmm15 270 pxor %xmm11,%xmm7 271 pxor %xmm2,%xmm15 272 pxor %xmm10,%xmm11 273 pxor %xmm9,%xmm2 274 pxor %xmm11,%xmm5 275 pxor %xmm11,%xmm15 276 pxor %xmm7,%xmm4 277 pxor %xmm7,%xmm2 278 279 movdqa %xmm6,%xmm11 280 movdqa %xmm0,%xmm7 281 pxor %xmm3,%xmm11 282 pxor %xmm1,%xmm7 283 movdqa %xmm14,%xmm10 284 movdqa %xmm12,%xmm9 285 pxor %xmm13,%xmm10 286 pxor %xmm8,%xmm9 287 pand %xmm11,%xmm10 288 pand %xmm3,%xmm9 289 pxor %xmm7,%xmm11 290 pxor %xmm1,%xmm3 291 pand %xmm14,%xmm7 292 pand %xmm12,%xmm1 293 pand %xmm13,%xmm11 294 pand %xmm8,%xmm3 295 pxor %xmm11,%xmm7 296 pxor %xmm1,%xmm3 297 pxor %xmm10,%xmm11 298 pxor %xmm9,%xmm1 299 pxor %xmm12,%xmm14 300 pxor %xmm8,%xmm13 301 movdqa %xmm14,%xmm10 302 pxor %xmm13,%xmm10 303 pand %xmm6,%xmm10 304 pxor %xmm0,%xmm6 305 pand %xmm14,%xmm0 306 pand %xmm13,%xmm6 307 pxor %xmm0,%xmm6 308 pxor %xmm10,%xmm0 309 pxor %xmm11,%xmm6 310 pxor %xmm11,%xmm3 311 pxor %xmm7,%xmm0 312 pxor %xmm7,%xmm1 313 pxor %xmm15,%xmm6 314 pxor %xmm5,%xmm0 315 pxor %xmm6,%xmm3 316 pxor %xmm15,%xmm5 317 pxor %xmm0,%xmm15 318 319 pxor %xmm4,%xmm0 320 pxor %xmm1,%xmm4 321 pxor %xmm2,%xmm1 322 pxor %xmm4,%xmm2 323 pxor %xmm4,%xmm3 324 325 pxor %xmm2,%xmm5 326 decl %r10d 327 jl L$enc_done 328 pshufd $147,%xmm15,%xmm7 329 pshufd $147,%xmm0,%xmm8 330 pxor %xmm7,%xmm15 331 pshufd $147,%xmm3,%xmm9 332 pxor %xmm8,%xmm0 333 pshufd $147,%xmm5,%xmm10 334 pxor %xmm9,%xmm3 335 pshufd $147,%xmm2,%xmm11 336 pxor %xmm10,%xmm5 337 pshufd $147,%xmm6,%xmm12 338 pxor %xmm11,%xmm2 339 pshufd $147,%xmm1,%xmm13 340 pxor %xmm12,%xmm6 341 pshufd $147,%xmm4,%xmm14 342 pxor %xmm13,%xmm1 343 pxor %xmm14,%xmm4 344 345 pxor %xmm15,%xmm8 346 pxor %xmm4,%xmm7 347 pxor %xmm4,%xmm8 348 pshufd $78,%xmm15,%xmm15 349 pxor %xmm0,%xmm9 350 pshufd $78,%xmm0,%xmm0 351 pxor %xmm2,%xmm12 352 pxor %xmm7,%xmm15 353 pxor %xmm6,%xmm13 354 pxor %xmm8,%xmm0 355 pxor %xmm5,%xmm11 356 pshufd $78,%xmm2,%xmm7 357 pxor %xmm1,%xmm14 358 pshufd $78,%xmm6,%xmm8 359 pxor %xmm3,%xmm10 360 pshufd $78,%xmm5,%xmm2 361 pxor %xmm4,%xmm10 362 pshufd $78,%xmm4,%xmm6 363 pxor %xmm4,%xmm11 364 pshufd $78,%xmm1,%xmm5 365 pxor %xmm11,%xmm7 366 pshufd $78,%xmm3,%xmm1 367 pxor %xmm12,%xmm8 368 pxor %xmm10,%xmm2 369 pxor %xmm14,%xmm6 370 pxor %xmm13,%xmm5 371 movdqa %xmm7,%xmm3 372 pxor %xmm9,%xmm1 373 movdqa %xmm8,%xmm4 374 movdqa 48(%r11),%xmm7 375 jnz L$enc_loop 376 movdqa 64(%r11),%xmm7 377 jmp L$enc_loop 378 .p2align 4 379 L$enc_done: 380 movdqa 0(%r11),%xmm7 381 movdqa 16(%r11),%xmm8 382 movdqa %xmm1,%xmm9 383 psrlq $1,%xmm1 384 movdqa %xmm2,%xmm10 385 psrlq $1,%xmm2 386 pxor %xmm4,%xmm1 387 pxor %xmm6,%xmm2 388 pand %xmm7,%xmm1 389 pand %xmm7,%xmm2 390 pxor %xmm1,%xmm4 391 psllq $1,%xmm1 392 pxor %xmm2,%xmm6 393 psllq $1,%xmm2 394 pxor %xmm9,%xmm1 395 pxor %xmm10,%xmm2 396 movdqa %xmm3,%xmm9 397 psrlq $1,%xmm3 398 movdqa %xmm15,%xmm10 399 psrlq $1,%xmm15 400 pxor %xmm5,%xmm3 401 pxor %xmm0,%xmm15 402 pand %xmm7,%xmm3 403 pand %xmm7,%xmm15 404 pxor %xmm3,%xmm5 405 psllq $1,%xmm3 406 pxor %xmm15,%xmm0 407 psllq $1,%xmm15 408 pxor %xmm9,%xmm3 409 pxor %xmm10,%xmm15 410 movdqa 32(%r11),%xmm7 411 movdqa %xmm6,%xmm9 412 psrlq $2,%xmm6 413 movdqa %xmm2,%xmm10 414 psrlq $2,%xmm2 415 pxor %xmm4,%xmm6 416 pxor %xmm1,%xmm2 417 pand %xmm8,%xmm6 418 pand %xmm8,%xmm2 419 pxor %xmm6,%xmm4 420 psllq $2,%xmm6 421 pxor %xmm2,%xmm1 422 psllq $2,%xmm2 423 pxor %xmm9,%xmm6 424 pxor %xmm10,%xmm2 425 movdqa %xmm0,%xmm9 426 psrlq $2,%xmm0 427 movdqa %xmm15,%xmm10 428 psrlq $2,%xmm15 429 pxor %xmm5,%xmm0 430 pxor %xmm3,%xmm15 431 pand %xmm8,%xmm0 432 pand %xmm8,%xmm15 433 pxor %xmm0,%xmm5 434 psllq $2,%xmm0 435 pxor %xmm15,%xmm3 436 psllq $2,%xmm15 437 pxor %xmm9,%xmm0 438 pxor %xmm10,%xmm15 439 movdqa %xmm5,%xmm9 440 psrlq $4,%xmm5 441 movdqa %xmm3,%xmm10 442 psrlq $4,%xmm3 443 pxor %xmm4,%xmm5 444 pxor %xmm1,%xmm3 445 pand %xmm7,%xmm5 446 pand %xmm7,%xmm3 447 pxor %xmm5,%xmm4 448 psllq $4,%xmm5 449 pxor %xmm3,%xmm1 450 psllq $4,%xmm3 451 pxor %xmm9,%xmm5 452 pxor %xmm10,%xmm3 453 movdqa %xmm0,%xmm9 454 psrlq $4,%xmm0 455 movdqa %xmm15,%xmm10 456 psrlq $4,%xmm15 457 pxor %xmm6,%xmm0 458 pxor %xmm2,%xmm15 459 pand %xmm7,%xmm0 460 pand %xmm7,%xmm15 461 pxor %xmm0,%xmm6 462 psllq $4,%xmm0 463 pxor %xmm15,%xmm2 464 psllq $4,%xmm15 465 pxor %xmm9,%xmm0 466 pxor %xmm10,%xmm15 467 movdqa (%rax),%xmm7 468 pxor %xmm7,%xmm3 469 pxor %xmm7,%xmm5 470 pxor %xmm7,%xmm2 471 pxor %xmm7,%xmm6 472 pxor %xmm7,%xmm1 473 pxor %xmm7,%xmm4 474 pxor %xmm7,%xmm15 475 pxor %xmm7,%xmm0 476 .byte 0xf3,0xc3 477 478 479 480 .p2align 6 481 _bsaes_decrypt8: 482 leaq L$BS0(%rip),%r11 483 484 movdqa (%rax),%xmm8 485 leaq 16(%rax),%rax 486 movdqa -48(%r11),%xmm7 487 pxor %xmm8,%xmm15 488 pxor %xmm8,%xmm0 489 pxor %xmm8,%xmm1 490 pxor %xmm8,%xmm2 491 .byte 102,68,15,56,0,255 492 .byte 102,15,56,0,199 493 pxor %xmm8,%xmm3 494 pxor %xmm8,%xmm4 495 .byte 102,15,56,0,207 496 .byte 102,15,56,0,215 497 pxor %xmm8,%xmm5 498 pxor %xmm8,%xmm6 499 .byte 102,15,56,0,223 500 .byte 102,15,56,0,231 501 .byte 102,15,56,0,239 502 .byte 102,15,56,0,247 503 movdqa 0(%r11),%xmm7 504 movdqa 16(%r11),%xmm8 505 movdqa %xmm5,%xmm9 506 psrlq $1,%xmm5 507 movdqa %xmm3,%xmm10 508 psrlq $1,%xmm3 509 pxor %xmm6,%xmm5 510 pxor %xmm4,%xmm3 511 pand %xmm7,%xmm5 512 pand %xmm7,%xmm3 513 pxor %xmm5,%xmm6 514 psllq $1,%xmm5 515 pxor %xmm3,%xmm4 516 psllq $1,%xmm3 517 pxor %xmm9,%xmm5 518 pxor %xmm10,%xmm3 519 movdqa %xmm1,%xmm9 520 psrlq $1,%xmm1 521 movdqa %xmm15,%xmm10 522 psrlq $1,%xmm15 523 pxor %xmm2,%xmm1 524 pxor %xmm0,%xmm15 525 pand %xmm7,%xmm1 526 pand %xmm7,%xmm15 527 pxor %xmm1,%xmm2 528 psllq $1,%xmm1 529 pxor %xmm15,%xmm0 530 psllq $1,%xmm15 531 pxor %xmm9,%xmm1 532 pxor %xmm10,%xmm15 533 movdqa 32(%r11),%xmm7 534 movdqa %xmm4,%xmm9 535 psrlq $2,%xmm4 536 movdqa %xmm3,%xmm10 537 psrlq $2,%xmm3 538 pxor %xmm6,%xmm4 539 pxor %xmm5,%xmm3 540 pand %xmm8,%xmm4 541 pand %xmm8,%xmm3 542 pxor %xmm4,%xmm6 543 psllq $2,%xmm4 544 pxor %xmm3,%xmm5 545 psllq $2,%xmm3 546 pxor %xmm9,%xmm4 547 pxor %xmm10,%xmm3 548 movdqa %xmm0,%xmm9 549 psrlq $2,%xmm0 550 movdqa %xmm15,%xmm10 551 psrlq $2,%xmm15 552 pxor %xmm2,%xmm0 553 pxor %xmm1,%xmm15 554 pand %xmm8,%xmm0 555 pand %xmm8,%xmm15 556 pxor %xmm0,%xmm2 557 psllq $2,%xmm0 558 pxor %xmm15,%xmm1 559 psllq $2,%xmm15 560 pxor %xmm9,%xmm0 561 pxor %xmm10,%xmm15 562 movdqa %xmm2,%xmm9 563 psrlq $4,%xmm2 564 movdqa %xmm1,%xmm10 565 psrlq $4,%xmm1 566 pxor %xmm6,%xmm2 567 pxor %xmm5,%xmm1 568 pand %xmm7,%xmm2 569 pand %xmm7,%xmm1 570 pxor %xmm2,%xmm6 571 psllq $4,%xmm2 572 pxor %xmm1,%xmm5 573 psllq $4,%xmm1 574 pxor %xmm9,%xmm2 575 pxor %xmm10,%xmm1 576 movdqa %xmm0,%xmm9 577 psrlq $4,%xmm0 578 movdqa %xmm15,%xmm10 579 psrlq $4,%xmm15 580 pxor %xmm4,%xmm0 581 pxor %xmm3,%xmm15 582 pand %xmm7,%xmm0 583 pand %xmm7,%xmm15 584 pxor %xmm0,%xmm4 585 psllq $4,%xmm0 586 pxor %xmm15,%xmm3 587 psllq $4,%xmm15 588 pxor %xmm9,%xmm0 589 pxor %xmm10,%xmm15 590 decl %r10d 591 jmp L$dec_sbox 592 .p2align 4 593 L$dec_loop: 594 pxor 0(%rax),%xmm15 595 pxor 16(%rax),%xmm0 596 pxor 32(%rax),%xmm1 597 pxor 48(%rax),%xmm2 598 .byte 102,68,15,56,0,255 599 .byte 102,15,56,0,199 600 pxor 64(%rax),%xmm3 601 pxor 80(%rax),%xmm4 602 .byte 102,15,56,0,207 603 .byte 102,15,56,0,215 604 pxor 96(%rax),%xmm5 605 pxor 112(%rax),%xmm6 606 .byte 102,15,56,0,223 607 .byte 102,15,56,0,231 608 .byte 102,15,56,0,239 609 .byte 102,15,56,0,247 610 leaq 128(%rax),%rax 611 L$dec_sbox: 612 pxor %xmm3,%xmm2 613 614 pxor %xmm6,%xmm3 615 pxor %xmm6,%xmm1 616 pxor %xmm3,%xmm5 617 pxor %xmm5,%xmm6 618 pxor %xmm6,%xmm0 619 620 pxor %xmm0,%xmm15 621 pxor %xmm4,%xmm1 622 pxor %xmm15,%xmm2 623 pxor %xmm15,%xmm4 624 pxor %xmm2,%xmm0 625 movdqa %xmm2,%xmm10 626 movdqa %xmm6,%xmm9 627 movdqa %xmm0,%xmm8 628 movdqa %xmm3,%xmm12 629 movdqa %xmm4,%xmm11 630 631 pxor %xmm15,%xmm10 632 pxor %xmm3,%xmm9 633 pxor %xmm5,%xmm8 634 movdqa %xmm10,%xmm13 635 pxor %xmm15,%xmm12 636 movdqa %xmm9,%xmm7 637 pxor %xmm1,%xmm11 638 movdqa %xmm10,%xmm14 639 640 por %xmm8,%xmm9 641 por %xmm11,%xmm10 642 pxor %xmm7,%xmm14 643 pand %xmm11,%xmm13 644 pxor %xmm8,%xmm11 645 pand %xmm8,%xmm7 646 pand %xmm11,%xmm14 647 movdqa %xmm5,%xmm11 648 pxor %xmm1,%xmm11 649 pand %xmm11,%xmm12 650 pxor %xmm12,%xmm10 651 pxor %xmm12,%xmm9 652 movdqa %xmm2,%xmm12 653 movdqa %xmm0,%xmm11 654 pxor %xmm6,%xmm12 655 pxor %xmm4,%xmm11 656 movdqa %xmm12,%xmm8 657 pand %xmm11,%xmm12 658 por %xmm11,%xmm8 659 pxor %xmm12,%xmm7 660 pxor %xmm14,%xmm10 661 pxor %xmm13,%xmm9 662 pxor %xmm14,%xmm8 663 movdqa %xmm3,%xmm11 664 pxor %xmm13,%xmm7 665 movdqa %xmm15,%xmm12 666 pxor %xmm13,%xmm8 667 movdqa %xmm6,%xmm13 668 pand %xmm5,%xmm11 669 movdqa %xmm2,%xmm14 670 pand %xmm1,%xmm12 671 pand %xmm0,%xmm13 672 por %xmm4,%xmm14 673 pxor %xmm11,%xmm10 674 pxor %xmm12,%xmm9 675 pxor %xmm13,%xmm8 676 pxor %xmm14,%xmm7 677 678 679 680 681 682 movdqa %xmm10,%xmm11 683 pand %xmm8,%xmm10 684 pxor %xmm9,%xmm11 685 686 movdqa %xmm7,%xmm13 687 movdqa %xmm11,%xmm14 688 pxor %xmm10,%xmm13 689 pand %xmm13,%xmm14 690 691 movdqa %xmm8,%xmm12 692 pxor %xmm9,%xmm14 693 pxor %xmm7,%xmm12 694 695 pxor %xmm9,%xmm10 696 697 pand %xmm10,%xmm12 698 699 movdqa %xmm13,%xmm9 700 pxor %xmm7,%xmm12 701 702 pxor %xmm12,%xmm9 703 pxor %xmm12,%xmm8 704 705 pand %xmm7,%xmm9 706 707 pxor %xmm9,%xmm13 708 pxor %xmm9,%xmm8 709 710 pand %xmm14,%xmm13 711 712 pxor %xmm11,%xmm13 713 movdqa %xmm4,%xmm11 714 movdqa %xmm0,%xmm7 715 movdqa %xmm14,%xmm9 716 pxor %xmm13,%xmm9 717 pand %xmm4,%xmm9 718 pxor %xmm0,%xmm4 719 pand %xmm14,%xmm0 720 pand %xmm13,%xmm4 721 pxor %xmm0,%xmm4 722 pxor %xmm9,%xmm0 723 pxor %xmm1,%xmm11 724 pxor %xmm5,%xmm7 725 pxor %xmm12,%xmm14 726 pxor %xmm8,%xmm13 727 movdqa %xmm14,%xmm10 728 movdqa %xmm12,%xmm9 729 pxor %xmm13,%xmm10 730 pxor %xmm8,%xmm9 731 pand %xmm11,%xmm10 732 pand %xmm1,%xmm9 733 pxor %xmm7,%xmm11 734 pxor %xmm5,%xmm1 735 pand %xmm14,%xmm7 736 pand %xmm12,%xmm5 737 pand %xmm13,%xmm11 738 pand %xmm8,%xmm1 739 pxor %xmm11,%xmm7 740 pxor %xmm5,%xmm1 741 pxor %xmm10,%xmm11 742 pxor %xmm9,%xmm5 743 pxor %xmm11,%xmm4 744 pxor %xmm11,%xmm1 745 pxor %xmm7,%xmm0 746 pxor %xmm7,%xmm5 747 748 movdqa %xmm2,%xmm11 749 movdqa %xmm6,%xmm7 750 pxor %xmm15,%xmm11 751 pxor %xmm3,%xmm7 752 movdqa %xmm14,%xmm10 753 movdqa %xmm12,%xmm9 754 pxor %xmm13,%xmm10 755 pxor %xmm8,%xmm9 756 pand %xmm11,%xmm10 757 pand %xmm15,%xmm9 758 pxor %xmm7,%xmm11 759 pxor %xmm3,%xmm15 760 pand %xmm14,%xmm7 761 pand %xmm12,%xmm3 762 pand %xmm13,%xmm11 763 pand %xmm8,%xmm15 764 pxor %xmm11,%xmm7 765 pxor %xmm3,%xmm15 766 pxor %xmm10,%xmm11 767 pxor %xmm9,%xmm3 768 pxor %xmm12,%xmm14 769 pxor %xmm8,%xmm13 770 movdqa %xmm14,%xmm10 771 pxor %xmm13,%xmm10 772 pand %xmm2,%xmm10 773 pxor %xmm6,%xmm2 774 pand %xmm14,%xmm6 775 pand %xmm13,%xmm2 776 pxor %xmm6,%xmm2 777 pxor %xmm10,%xmm6 778 pxor %xmm11,%xmm2 779 pxor %xmm11,%xmm15 780 pxor %xmm7,%xmm6 781 pxor %xmm7,%xmm3 782 pxor %xmm6,%xmm0 783 pxor %xmm4,%xmm5 784 785 pxor %xmm0,%xmm3 786 pxor %xmm6,%xmm1 787 pxor %xmm6,%xmm4 788 pxor %xmm1,%xmm3 789 pxor %xmm15,%xmm6 790 pxor %xmm4,%xmm3 791 pxor %xmm5,%xmm2 792 pxor %xmm0,%xmm5 793 pxor %xmm3,%xmm2 794 795 pxor %xmm15,%xmm3 796 pxor %xmm2,%xmm6 797 decl %r10d 798 jl L$dec_done 799 800 pshufd $78,%xmm15,%xmm7 801 pshufd $78,%xmm2,%xmm13 802 pxor %xmm15,%xmm7 803 pshufd $78,%xmm4,%xmm14 804 pxor %xmm2,%xmm13 805 pshufd $78,%xmm0,%xmm8 806 pxor %xmm4,%xmm14 807 pshufd $78,%xmm5,%xmm9 808 pxor %xmm0,%xmm8 809 pshufd $78,%xmm3,%xmm10 810 pxor %xmm5,%xmm9 811 pxor %xmm13,%xmm15 812 pxor %xmm13,%xmm0 813 pshufd $78,%xmm1,%xmm11 814 pxor %xmm3,%xmm10 815 pxor %xmm7,%xmm5 816 pxor %xmm8,%xmm3 817 pshufd $78,%xmm6,%xmm12 818 pxor %xmm1,%xmm11 819 pxor %xmm14,%xmm0 820 pxor %xmm9,%xmm1 821 pxor %xmm6,%xmm12 822 823 pxor %xmm14,%xmm5 824 pxor %xmm13,%xmm3 825 pxor %xmm13,%xmm1 826 pxor %xmm10,%xmm6 827 pxor %xmm11,%xmm2 828 pxor %xmm14,%xmm1 829 pxor %xmm14,%xmm6 830 pxor %xmm12,%xmm4 831 pshufd $147,%xmm15,%xmm7 832 pshufd $147,%xmm0,%xmm8 833 pxor %xmm7,%xmm15 834 pshufd $147,%xmm5,%xmm9 835 pxor %xmm8,%xmm0 836 pshufd $147,%xmm3,%xmm10 837 pxor %xmm9,%xmm5 838 pshufd $147,%xmm1,%xmm11 839 pxor %xmm10,%xmm3 840 pshufd $147,%xmm6,%xmm12 841 pxor %xmm11,%xmm1 842 pshufd $147,%xmm2,%xmm13 843 pxor %xmm12,%xmm6 844 pshufd $147,%xmm4,%xmm14 845 pxor %xmm13,%xmm2 846 pxor %xmm14,%xmm4 847 848 pxor %xmm15,%xmm8 849 pxor %xmm4,%xmm7 850 pxor %xmm4,%xmm8 851 pshufd $78,%xmm15,%xmm15 852 pxor %xmm0,%xmm9 853 pshufd $78,%xmm0,%xmm0 854 pxor %xmm1,%xmm12 855 pxor %xmm7,%xmm15 856 pxor %xmm6,%xmm13 857 pxor %xmm8,%xmm0 858 pxor %xmm3,%xmm11 859 pshufd $78,%xmm1,%xmm7 860 pxor %xmm2,%xmm14 861 pshufd $78,%xmm6,%xmm8 862 pxor %xmm5,%xmm10 863 pshufd $78,%xmm3,%xmm1 864 pxor %xmm4,%xmm10 865 pshufd $78,%xmm4,%xmm6 866 pxor %xmm4,%xmm11 867 pshufd $78,%xmm2,%xmm3 868 pxor %xmm11,%xmm7 869 pshufd $78,%xmm5,%xmm2 870 pxor %xmm12,%xmm8 871 pxor %xmm1,%xmm10 872 pxor %xmm14,%xmm6 873 pxor %xmm3,%xmm13 874 movdqa %xmm7,%xmm3 875 pxor %xmm9,%xmm2 876 movdqa %xmm13,%xmm5 877 movdqa %xmm8,%xmm4 878 movdqa %xmm2,%xmm1 879 movdqa %xmm10,%xmm2 880 movdqa -16(%r11),%xmm7 881 jnz L$dec_loop 882 movdqa -32(%r11),%xmm7 883 jmp L$dec_loop 884 .p2align 4 885 L$dec_done: 886 movdqa 0(%r11),%xmm7 887 movdqa 16(%r11),%xmm8 888 movdqa %xmm2,%xmm9 889 psrlq $1,%xmm2 890 movdqa %xmm1,%xmm10 891 psrlq $1,%xmm1 892 pxor %xmm4,%xmm2 893 pxor %xmm6,%xmm1 894 pand %xmm7,%xmm2 895 pand %xmm7,%xmm1 896 pxor %xmm2,%xmm4 897 psllq $1,%xmm2 898 pxor %xmm1,%xmm6 899 psllq $1,%xmm1 900 pxor %xmm9,%xmm2 901 pxor %xmm10,%xmm1 902 movdqa %xmm5,%xmm9 903 psrlq $1,%xmm5 904 movdqa %xmm15,%xmm10 905 psrlq $1,%xmm15 906 pxor %xmm3,%xmm5 907 pxor %xmm0,%xmm15 908 pand %xmm7,%xmm5 909 pand %xmm7,%xmm15 910 pxor %xmm5,%xmm3 911 psllq $1,%xmm5 912 pxor %xmm15,%xmm0 913 psllq $1,%xmm15 914 pxor %xmm9,%xmm5 915 pxor %xmm10,%xmm15 916 movdqa 32(%r11),%xmm7 917 movdqa %xmm6,%xmm9 918 psrlq $2,%xmm6 919 movdqa %xmm1,%xmm10 920 psrlq $2,%xmm1 921 pxor %xmm4,%xmm6 922 pxor %xmm2,%xmm1 923 pand %xmm8,%xmm6 924 pand %xmm8,%xmm1 925 pxor %xmm6,%xmm4 926 psllq $2,%xmm6 927 pxor %xmm1,%xmm2 928 psllq $2,%xmm1 929 pxor %xmm9,%xmm6 930 pxor %xmm10,%xmm1 931 movdqa %xmm0,%xmm9 932 psrlq $2,%xmm0 933 movdqa %xmm15,%xmm10 934 psrlq $2,%xmm15 935 pxor %xmm3,%xmm0 936 pxor %xmm5,%xmm15 937 pand %xmm8,%xmm0 938 pand %xmm8,%xmm15 939 pxor %xmm0,%xmm3 940 psllq $2,%xmm0 941 pxor %xmm15,%xmm5 942 psllq $2,%xmm15 943 pxor %xmm9,%xmm0 944 pxor %xmm10,%xmm15 945 movdqa %xmm3,%xmm9 946 psrlq $4,%xmm3 947 movdqa %xmm5,%xmm10 948 psrlq $4,%xmm5 949 pxor %xmm4,%xmm3 950 pxor %xmm2,%xmm5 951 pand %xmm7,%xmm3 952 pand %xmm7,%xmm5 953 pxor %xmm3,%xmm4 954 psllq $4,%xmm3 955 pxor %xmm5,%xmm2 956 psllq $4,%xmm5 957 pxor %xmm9,%xmm3 958 pxor %xmm10,%xmm5 959 movdqa %xmm0,%xmm9 960 psrlq $4,%xmm0 961 movdqa %xmm15,%xmm10 962 psrlq $4,%xmm15 963 pxor %xmm6,%xmm0 964 pxor %xmm1,%xmm15 965 pand %xmm7,%xmm0 966 pand %xmm7,%xmm15 967 pxor %xmm0,%xmm6 968 psllq $4,%xmm0 969 pxor %xmm15,%xmm1 970 psllq $4,%xmm15 971 pxor %xmm9,%xmm0 972 pxor %xmm10,%xmm15 973 movdqa (%rax),%xmm7 974 pxor %xmm7,%xmm5 975 pxor %xmm7,%xmm3 976 pxor %xmm7,%xmm1 977 pxor %xmm7,%xmm6 978 pxor %xmm7,%xmm2 979 pxor %xmm7,%xmm4 980 pxor %xmm7,%xmm15 981 pxor %xmm7,%xmm0 982 .byte 0xf3,0xc3 983 984 985 .p2align 4 986 _bsaes_key_convert: 987 leaq L$masks(%rip),%r11 988 movdqu (%rcx),%xmm7 989 leaq 16(%rcx),%rcx 990 movdqa 0(%r11),%xmm0 991 movdqa 16(%r11),%xmm1 992 movdqa 32(%r11),%xmm2 993 movdqa 48(%r11),%xmm3 994 movdqa 64(%r11),%xmm4 995 pcmpeqd %xmm5,%xmm5 996 997 movdqu (%rcx),%xmm6 998 movdqa %xmm7,(%rax) 999 leaq 16(%rax),%rax 1000 decl %r10d 1001 jmp L$key_loop 1002 .p2align 4 1003 L$key_loop: 1004 .byte 102,15,56,0,244 1005 1006 movdqa %xmm0,%xmm8 1007 movdqa %xmm1,%xmm9 1008 1009 pand %xmm6,%xmm8 1010 pand %xmm6,%xmm9 1011 movdqa %xmm2,%xmm10 1012 pcmpeqb %xmm0,%xmm8 1013 psllq $4,%xmm0 1014 movdqa %xmm3,%xmm11 1015 pcmpeqb %xmm1,%xmm9 1016 psllq $4,%xmm1 1017 1018 pand %xmm6,%xmm10 1019 pand %xmm6,%xmm11 1020 movdqa %xmm0,%xmm12 1021 pcmpeqb %xmm2,%xmm10 1022 psllq $4,%xmm2 1023 movdqa %xmm1,%xmm13 1024 pcmpeqb %xmm3,%xmm11 1025 psllq $4,%xmm3 1026 1027 movdqa %xmm2,%xmm14 1028 movdqa %xmm3,%xmm15 1029 pxor %xmm5,%xmm8 1030 pxor %xmm5,%xmm9 1031 1032 pand %xmm6,%xmm12 1033 pand %xmm6,%xmm13 1034 movdqa %xmm8,0(%rax) 1035 pcmpeqb %xmm0,%xmm12 1036 psrlq $4,%xmm0 1037 movdqa %xmm9,16(%rax) 1038 pcmpeqb %xmm1,%xmm13 1039 psrlq $4,%xmm1 1040 leaq 16(%rcx),%rcx 1041 1042 pand %xmm6,%xmm14 1043 pand %xmm6,%xmm15 1044 movdqa %xmm10,32(%rax) 1045 pcmpeqb %xmm2,%xmm14 1046 psrlq $4,%xmm2 1047 movdqa %xmm11,48(%rax) 1048 pcmpeqb %xmm3,%xmm15 1049 psrlq $4,%xmm3 1050 movdqu (%rcx),%xmm6 1051 1052 pxor %xmm5,%xmm13 1053 pxor %xmm5,%xmm14 1054 movdqa %xmm12,64(%rax) 1055 movdqa %xmm13,80(%rax) 1056 movdqa %xmm14,96(%rax) 1057 movdqa %xmm15,112(%rax) 1058 leaq 128(%rax),%rax 1059 decl %r10d 1060 jnz L$key_loop 1061 1062 movdqa 80(%r11),%xmm7 1063 1064 .byte 0xf3,0xc3 1065 1066 1067 .globl _bsaes_cbc_encrypt 1068 .private_extern _bsaes_cbc_encrypt 1069 1070 .p2align 4 1071 _bsaes_cbc_encrypt: 1072 cmpl $0,%r9d 1073 jne _asm_AES_cbc_encrypt 1074 cmpq $128,%rdx 1075 jb _asm_AES_cbc_encrypt 1076 1077 movq %rsp,%rax 1078 L$cbc_dec_prologue: 1079 pushq %rbp 1080 pushq %rbx 1081 pushq %r12 1082 pushq %r13 1083 pushq %r14 1084 pushq %r15 1085 leaq -72(%rsp),%rsp 1086 movq %rsp,%rbp 1087 movl 240(%rcx),%eax 1088 movq %rdi,%r12 1089 movq %rsi,%r13 1090 movq %rdx,%r14 1091 movq %rcx,%r15 1092 movq %r8,%rbx 1093 shrq $4,%r14 1094 1095 movl %eax,%edx 1096 shlq $7,%rax 1097 subq $96,%rax 1098 subq %rax,%rsp 1099 1100 movq %rsp,%rax 1101 movq %r15,%rcx 1102 movl %edx,%r10d 1103 call _bsaes_key_convert 1104 pxor (%rsp),%xmm7 1105 movdqa %xmm6,(%rax) 1106 movdqa %xmm7,(%rsp) 1107 1108 movdqu (%rbx),%xmm14 1109 subq $8,%r14 1110 L$cbc_dec_loop: 1111 movdqu 0(%r12),%xmm15 1112 movdqu 16(%r12),%xmm0 1113 movdqu 32(%r12),%xmm1 1114 movdqu 48(%r12),%xmm2 1115 movdqu 64(%r12),%xmm3 1116 movdqu 80(%r12),%xmm4 1117 movq %rsp,%rax 1118 movdqu 96(%r12),%xmm5 1119 movl %edx,%r10d 1120 movdqu 112(%r12),%xmm6 1121 movdqa %xmm14,32(%rbp) 1122 1123 call _bsaes_decrypt8 1124 1125 pxor 32(%rbp),%xmm15 1126 movdqu 0(%r12),%xmm7 1127 movdqu 16(%r12),%xmm8 1128 pxor %xmm7,%xmm0 1129 movdqu 32(%r12),%xmm9 1130 pxor %xmm8,%xmm5 1131 movdqu 48(%r12),%xmm10 1132 pxor %xmm9,%xmm3 1133 movdqu 64(%r12),%xmm11 1134 pxor %xmm10,%xmm1 1135 movdqu 80(%r12),%xmm12 1136 pxor %xmm11,%xmm6 1137 movdqu 96(%r12),%xmm13 1138 pxor %xmm12,%xmm2 1139 movdqu 112(%r12),%xmm14 1140 pxor %xmm13,%xmm4 1141 movdqu %xmm15,0(%r13) 1142 leaq 128(%r12),%r12 1143 movdqu %xmm0,16(%r13) 1144 movdqu %xmm5,32(%r13) 1145 movdqu %xmm3,48(%r13) 1146 movdqu %xmm1,64(%r13) 1147 movdqu %xmm6,80(%r13) 1148 movdqu %xmm2,96(%r13) 1149 movdqu %xmm4,112(%r13) 1150 leaq 128(%r13),%r13 1151 subq $8,%r14 1152 jnc L$cbc_dec_loop 1153 1154 addq $8,%r14 1155 jz L$cbc_dec_done 1156 1157 movdqu 0(%r12),%xmm15 1158 movq %rsp,%rax 1159 movl %edx,%r10d 1160 cmpq $2,%r14 1161 jb L$cbc_dec_one 1162 movdqu 16(%r12),%xmm0 1163 je L$cbc_dec_two 1164 movdqu 32(%r12),%xmm1 1165 cmpq $4,%r14 1166 jb L$cbc_dec_three 1167 movdqu 48(%r12),%xmm2 1168 je L$cbc_dec_four 1169 movdqu 64(%r12),%xmm3 1170 cmpq $6,%r14 1171 jb L$cbc_dec_five 1172 movdqu 80(%r12),%xmm4 1173 je L$cbc_dec_six 1174 movdqu 96(%r12),%xmm5 1175 movdqa %xmm14,32(%rbp) 1176 call _bsaes_decrypt8 1177 pxor 32(%rbp),%xmm15 1178 movdqu 0(%r12),%xmm7 1179 movdqu 16(%r12),%xmm8 1180 pxor %xmm7,%xmm0 1181 movdqu 32(%r12),%xmm9 1182 pxor %xmm8,%xmm5 1183 movdqu 48(%r12),%xmm10 1184 pxor %xmm9,%xmm3 1185 movdqu 64(%r12),%xmm11 1186 pxor %xmm10,%xmm1 1187 movdqu 80(%r12),%xmm12 1188 pxor %xmm11,%xmm6 1189 movdqu 96(%r12),%xmm14 1190 pxor %xmm12,%xmm2 1191 movdqu %xmm15,0(%r13) 1192 movdqu %xmm0,16(%r13) 1193 movdqu %xmm5,32(%r13) 1194 movdqu %xmm3,48(%r13) 1195 movdqu %xmm1,64(%r13) 1196 movdqu %xmm6,80(%r13) 1197 movdqu %xmm2,96(%r13) 1198 jmp L$cbc_dec_done 1199 .p2align 4 1200 L$cbc_dec_six: 1201 movdqa %xmm14,32(%rbp) 1202 call _bsaes_decrypt8 1203 pxor 32(%rbp),%xmm15 1204 movdqu 0(%r12),%xmm7 1205 movdqu 16(%r12),%xmm8 1206 pxor %xmm7,%xmm0 1207 movdqu 32(%r12),%xmm9 1208 pxor %xmm8,%xmm5 1209 movdqu 48(%r12),%xmm10 1210 pxor %xmm9,%xmm3 1211 movdqu 64(%r12),%xmm11 1212 pxor %xmm10,%xmm1 1213 movdqu 80(%r12),%xmm14 1214 pxor %xmm11,%xmm6 1215 movdqu %xmm15,0(%r13) 1216 movdqu %xmm0,16(%r13) 1217 movdqu %xmm5,32(%r13) 1218 movdqu %xmm3,48(%r13) 1219 movdqu %xmm1,64(%r13) 1220 movdqu %xmm6,80(%r13) 1221 jmp L$cbc_dec_done 1222 .p2align 4 1223 L$cbc_dec_five: 1224 movdqa %xmm14,32(%rbp) 1225 call _bsaes_decrypt8 1226 pxor 32(%rbp),%xmm15 1227 movdqu 0(%r12),%xmm7 1228 movdqu 16(%r12),%xmm8 1229 pxor %xmm7,%xmm0 1230 movdqu 32(%r12),%xmm9 1231 pxor %xmm8,%xmm5 1232 movdqu 48(%r12),%xmm10 1233 pxor %xmm9,%xmm3 1234 movdqu 64(%r12),%xmm14 1235 pxor %xmm10,%xmm1 1236 movdqu %xmm15,0(%r13) 1237 movdqu %xmm0,16(%r13) 1238 movdqu %xmm5,32(%r13) 1239 movdqu %xmm3,48(%r13) 1240 movdqu %xmm1,64(%r13) 1241 jmp L$cbc_dec_done 1242 .p2align 4 1243 L$cbc_dec_four: 1244 movdqa %xmm14,32(%rbp) 1245 call _bsaes_decrypt8 1246 pxor 32(%rbp),%xmm15 1247 movdqu 0(%r12),%xmm7 1248 movdqu 16(%r12),%xmm8 1249 pxor %xmm7,%xmm0 1250 movdqu 32(%r12),%xmm9 1251 pxor %xmm8,%xmm5 1252 movdqu 48(%r12),%xmm14 1253 pxor %xmm9,%xmm3 1254 movdqu %xmm15,0(%r13) 1255 movdqu %xmm0,16(%r13) 1256 movdqu %xmm5,32(%r13) 1257 movdqu %xmm3,48(%r13) 1258 jmp L$cbc_dec_done 1259 .p2align 4 1260 L$cbc_dec_three: 1261 movdqa %xmm14,32(%rbp) 1262 call _bsaes_decrypt8 1263 pxor 32(%rbp),%xmm15 1264 movdqu 0(%r12),%xmm7 1265 movdqu 16(%r12),%xmm8 1266 pxor %xmm7,%xmm0 1267 movdqu 32(%r12),%xmm14 1268 pxor %xmm8,%xmm5 1269 movdqu %xmm15,0(%r13) 1270 movdqu %xmm0,16(%r13) 1271 movdqu %xmm5,32(%r13) 1272 jmp L$cbc_dec_done 1273 .p2align 4 1274 L$cbc_dec_two: 1275 movdqa %xmm14,32(%rbp) 1276 call _bsaes_decrypt8 1277 pxor 32(%rbp),%xmm15 1278 movdqu 0(%r12),%xmm7 1279 movdqu 16(%r12),%xmm14 1280 pxor %xmm7,%xmm0 1281 movdqu %xmm15,0(%r13) 1282 movdqu %xmm0,16(%r13) 1283 jmp L$cbc_dec_done 1284 .p2align 4 1285 L$cbc_dec_one: 1286 leaq (%r12),%rdi 1287 leaq 32(%rbp),%rsi 1288 leaq (%r15),%rdx 1289 call _asm_AES_decrypt 1290 pxor 32(%rbp),%xmm14 1291 movdqu %xmm14,(%r13) 1292 movdqa %xmm15,%xmm14 1293 1294 L$cbc_dec_done: 1295 movdqu %xmm14,(%rbx) 1296 leaq (%rsp),%rax 1297 pxor %xmm0,%xmm0 1298 L$cbc_dec_bzero: 1299 movdqa %xmm0,0(%rax) 1300 movdqa %xmm0,16(%rax) 1301 leaq 32(%rax),%rax 1302 cmpq %rax,%rbp 1303 ja L$cbc_dec_bzero 1304 1305 leaq (%rbp),%rsp 1306 movq 72(%rsp),%r15 1307 movq 80(%rsp),%r14 1308 movq 88(%rsp),%r13 1309 movq 96(%rsp),%r12 1310 movq 104(%rsp),%rbx 1311 movq 112(%rsp),%rax 1312 leaq 120(%rsp),%rsp 1313 movq %rax,%rbp 1314 L$cbc_dec_epilogue: 1315 .byte 0xf3,0xc3 1316 1317 1318 .globl _bsaes_ctr32_encrypt_blocks 1319 .private_extern _bsaes_ctr32_encrypt_blocks 1320 1321 .p2align 4 1322 _bsaes_ctr32_encrypt_blocks: 1323 movq %rsp,%rax 1324 L$ctr_enc_prologue: 1325 pushq %rbp 1326 pushq %rbx 1327 pushq %r12 1328 pushq %r13 1329 pushq %r14 1330 pushq %r15 1331 leaq -72(%rsp),%rsp 1332 movq %rsp,%rbp 1333 movdqu (%r8),%xmm0 1334 movl 240(%rcx),%eax 1335 movq %rdi,%r12 1336 movq %rsi,%r13 1337 movq %rdx,%r14 1338 movq %rcx,%r15 1339 movdqa %xmm0,32(%rbp) 1340 cmpq $8,%rdx 1341 jb L$ctr_enc_short 1342 1343 movl %eax,%ebx 1344 shlq $7,%rax 1345 subq $96,%rax 1346 subq %rax,%rsp 1347 1348 movq %rsp,%rax 1349 movq %r15,%rcx 1350 movl %ebx,%r10d 1351 call _bsaes_key_convert 1352 pxor %xmm6,%xmm7 1353 movdqa %xmm7,(%rax) 1354 1355 movdqa (%rsp),%xmm8 1356 leaq L$ADD1(%rip),%r11 1357 movdqa 32(%rbp),%xmm15 1358 movdqa -32(%r11),%xmm7 1359 .byte 102,68,15,56,0,199 1360 .byte 102,68,15,56,0,255 1361 movdqa %xmm8,(%rsp) 1362 jmp L$ctr_enc_loop 1363 .p2align 4 1364 L$ctr_enc_loop: 1365 movdqa %xmm15,32(%rbp) 1366 movdqa %xmm15,%xmm0 1367 movdqa %xmm15,%xmm1 1368 paddd 0(%r11),%xmm0 1369 movdqa %xmm15,%xmm2 1370 paddd 16(%r11),%xmm1 1371 movdqa %xmm15,%xmm3 1372 paddd 32(%r11),%xmm2 1373 movdqa %xmm15,%xmm4 1374 paddd 48(%r11),%xmm3 1375 movdqa %xmm15,%xmm5 1376 paddd 64(%r11),%xmm4 1377 movdqa %xmm15,%xmm6 1378 paddd 80(%r11),%xmm5 1379 paddd 96(%r11),%xmm6 1380 1381 1382 1383 movdqa (%rsp),%xmm8 1384 leaq 16(%rsp),%rax 1385 movdqa -16(%r11),%xmm7 1386 pxor %xmm8,%xmm15 1387 pxor %xmm8,%xmm0 1388 pxor %xmm8,%xmm1 1389 pxor %xmm8,%xmm2 1390 .byte 102,68,15,56,0,255 1391 .byte 102,15,56,0,199 1392 pxor %xmm8,%xmm3 1393 pxor %xmm8,%xmm4 1394 .byte 102,15,56,0,207 1395 .byte 102,15,56,0,215 1396 pxor %xmm8,%xmm5 1397 pxor %xmm8,%xmm6 1398 .byte 102,15,56,0,223 1399 .byte 102,15,56,0,231 1400 .byte 102,15,56,0,239 1401 .byte 102,15,56,0,247 1402 leaq L$BS0(%rip),%r11 1403 movl %ebx,%r10d 1404 1405 call _bsaes_encrypt8_bitslice 1406 1407 subq $8,%r14 1408 jc L$ctr_enc_loop_done 1409 1410 movdqu 0(%r12),%xmm7 1411 movdqu 16(%r12),%xmm8 1412 movdqu 32(%r12),%xmm9 1413 movdqu 48(%r12),%xmm10 1414 movdqu 64(%r12),%xmm11 1415 movdqu 80(%r12),%xmm12 1416 movdqu 96(%r12),%xmm13 1417 movdqu 112(%r12),%xmm14 1418 leaq 128(%r12),%r12 1419 pxor %xmm15,%xmm7 1420 movdqa 32(%rbp),%xmm15 1421 pxor %xmm8,%xmm0 1422 movdqu %xmm7,0(%r13) 1423 pxor %xmm9,%xmm3 1424 movdqu %xmm0,16(%r13) 1425 pxor %xmm10,%xmm5 1426 movdqu %xmm3,32(%r13) 1427 pxor %xmm11,%xmm2 1428 movdqu %xmm5,48(%r13) 1429 pxor %xmm12,%xmm6 1430 movdqu %xmm2,64(%r13) 1431 pxor %xmm13,%xmm1 1432 movdqu %xmm6,80(%r13) 1433 pxor %xmm14,%xmm4 1434 movdqu %xmm1,96(%r13) 1435 leaq L$ADD1(%rip),%r11 1436 movdqu %xmm4,112(%r13) 1437 leaq 128(%r13),%r13 1438 paddd 112(%r11),%xmm15 1439 jnz L$ctr_enc_loop 1440 1441 jmp L$ctr_enc_done 1442 .p2align 4 1443 L$ctr_enc_loop_done: 1444 addq $8,%r14 1445 movdqu 0(%r12),%xmm7 1446 pxor %xmm7,%xmm15 1447 movdqu %xmm15,0(%r13) 1448 cmpq $2,%r14 1449 jb L$ctr_enc_done 1450 movdqu 16(%r12),%xmm8 1451 pxor %xmm8,%xmm0 1452 movdqu %xmm0,16(%r13) 1453 je L$ctr_enc_done 1454 movdqu 32(%r12),%xmm9 1455 pxor %xmm9,%xmm3 1456 movdqu %xmm3,32(%r13) 1457 cmpq $4,%r14 1458 jb L$ctr_enc_done 1459 movdqu 48(%r12),%xmm10 1460 pxor %xmm10,%xmm5 1461 movdqu %xmm5,48(%r13) 1462 je L$ctr_enc_done 1463 movdqu 64(%r12),%xmm11 1464 pxor %xmm11,%xmm2 1465 movdqu %xmm2,64(%r13) 1466 cmpq $6,%r14 1467 jb L$ctr_enc_done 1468 movdqu 80(%r12),%xmm12 1469 pxor %xmm12,%xmm6 1470 movdqu %xmm6,80(%r13) 1471 je L$ctr_enc_done 1472 movdqu 96(%r12),%xmm13 1473 pxor %xmm13,%xmm1 1474 movdqu %xmm1,96(%r13) 1475 jmp L$ctr_enc_done 1476 1477 .p2align 4 1478 L$ctr_enc_short: 1479 leaq 32(%rbp),%rdi 1480 leaq 48(%rbp),%rsi 1481 leaq (%r15),%rdx 1482 call _asm_AES_encrypt 1483 movdqu (%r12),%xmm0 1484 leaq 16(%r12),%r12 1485 movl 44(%rbp),%eax 1486 bswapl %eax 1487 pxor 48(%rbp),%xmm0 1488 incl %eax 1489 movdqu %xmm0,(%r13) 1490 bswapl %eax 1491 leaq 16(%r13),%r13 1492 movl %eax,44(%rsp) 1493 decq %r14 1494 jnz L$ctr_enc_short 1495 1496 L$ctr_enc_done: 1497 leaq (%rsp),%rax 1498 pxor %xmm0,%xmm0 1499 L$ctr_enc_bzero: 1500 movdqa %xmm0,0(%rax) 1501 movdqa %xmm0,16(%rax) 1502 leaq 32(%rax),%rax 1503 cmpq %rax,%rbp 1504 ja L$ctr_enc_bzero 1505 1506 leaq (%rbp),%rsp 1507 movq 72(%rsp),%r15 1508 movq 80(%rsp),%r14 1509 movq 88(%rsp),%r13 1510 movq 96(%rsp),%r12 1511 movq 104(%rsp),%rbx 1512 movq 112(%rsp),%rax 1513 leaq 120(%rsp),%rsp 1514 movq %rax,%rbp 1515 L$ctr_enc_epilogue: 1516 .byte 0xf3,0xc3 1517 1518 .globl _bsaes_xts_encrypt 1519 .private_extern _bsaes_xts_encrypt 1520 1521 .p2align 4 1522 _bsaes_xts_encrypt: 1523 movq %rsp,%rax 1524 L$xts_enc_prologue: 1525 pushq %rbp 1526 pushq %rbx 1527 pushq %r12 1528 pushq %r13 1529 pushq %r14 1530 pushq %r15 1531 leaq -72(%rsp),%rsp 1532 movq %rsp,%rbp 1533 movq %rdi,%r12 1534 movq %rsi,%r13 1535 movq %rdx,%r14 1536 movq %rcx,%r15 1537 1538 leaq (%r9),%rdi 1539 leaq 32(%rbp),%rsi 1540 leaq (%r8),%rdx 1541 call _asm_AES_encrypt 1542 1543 movl 240(%r15),%eax 1544 movq %r14,%rbx 1545 1546 movl %eax,%edx 1547 shlq $7,%rax 1548 subq $96,%rax 1549 subq %rax,%rsp 1550 1551 movq %rsp,%rax 1552 movq %r15,%rcx 1553 movl %edx,%r10d 1554 call _bsaes_key_convert 1555 pxor %xmm6,%xmm7 1556 movdqa %xmm7,(%rax) 1557 1558 andq $-16,%r14 1559 subq $128,%rsp 1560 movdqa 32(%rbp),%xmm6 1561 1562 pxor %xmm14,%xmm14 1563 movdqa L$xts_magic(%rip),%xmm12 1564 pcmpgtd %xmm6,%xmm14 1565 1566 subq $128,%r14 1567 jc L$xts_enc_short 1568 jmp L$xts_enc_loop 1569 1570 .p2align 4 1571 L$xts_enc_loop: 1572 pshufd $19,%xmm14,%xmm13 1573 pxor %xmm14,%xmm14 1574 movdqa %xmm6,%xmm15 1575 movdqa %xmm6,0(%rsp) 1576 paddq %xmm6,%xmm6 1577 pand %xmm12,%xmm13 1578 pcmpgtd %xmm6,%xmm14 1579 pxor %xmm13,%xmm6 1580 pshufd $19,%xmm14,%xmm13 1581 pxor %xmm14,%xmm14 1582 movdqa %xmm6,%xmm0 1583 movdqa %xmm6,16(%rsp) 1584 paddq %xmm6,%xmm6 1585 pand %xmm12,%xmm13 1586 pcmpgtd %xmm6,%xmm14 1587 pxor %xmm13,%xmm6 1588 movdqu 0(%r12),%xmm7 1589 pshufd $19,%xmm14,%xmm13 1590 pxor %xmm14,%xmm14 1591 movdqa %xmm6,%xmm1 1592 movdqa %xmm6,32(%rsp) 1593 paddq %xmm6,%xmm6 1594 pand %xmm12,%xmm13 1595 pcmpgtd %xmm6,%xmm14 1596 pxor %xmm13,%xmm6 1597 movdqu 16(%r12),%xmm8 1598 pxor %xmm7,%xmm15 1599 pshufd $19,%xmm14,%xmm13 1600 pxor %xmm14,%xmm14 1601 movdqa %xmm6,%xmm2 1602 movdqa %xmm6,48(%rsp) 1603 paddq %xmm6,%xmm6 1604 pand %xmm12,%xmm13 1605 pcmpgtd %xmm6,%xmm14 1606 pxor %xmm13,%xmm6 1607 movdqu 32(%r12),%xmm9 1608 pxor %xmm8,%xmm0 1609 pshufd $19,%xmm14,%xmm13 1610 pxor %xmm14,%xmm14 1611 movdqa %xmm6,%xmm3 1612 movdqa %xmm6,64(%rsp) 1613 paddq %xmm6,%xmm6 1614 pand %xmm12,%xmm13 1615 pcmpgtd %xmm6,%xmm14 1616 pxor %xmm13,%xmm6 1617 movdqu 48(%r12),%xmm10 1618 pxor %xmm9,%xmm1 1619 pshufd $19,%xmm14,%xmm13 1620 pxor %xmm14,%xmm14 1621 movdqa %xmm6,%xmm4 1622 movdqa %xmm6,80(%rsp) 1623 paddq %xmm6,%xmm6 1624 pand %xmm12,%xmm13 1625 pcmpgtd %xmm6,%xmm14 1626 pxor %xmm13,%xmm6 1627 movdqu 64(%r12),%xmm11 1628 pxor %xmm10,%xmm2 1629 pshufd $19,%xmm14,%xmm13 1630 pxor %xmm14,%xmm14 1631 movdqa %xmm6,%xmm5 1632 movdqa %xmm6,96(%rsp) 1633 paddq %xmm6,%xmm6 1634 pand %xmm12,%xmm13 1635 pcmpgtd %xmm6,%xmm14 1636 pxor %xmm13,%xmm6 1637 movdqu 80(%r12),%xmm12 1638 pxor %xmm11,%xmm3 1639 movdqu 96(%r12),%xmm13 1640 pxor %xmm12,%xmm4 1641 movdqu 112(%r12),%xmm14 1642 leaq 128(%r12),%r12 1643 movdqa %xmm6,112(%rsp) 1644 pxor %xmm13,%xmm5 1645 leaq 128(%rsp),%rax 1646 pxor %xmm14,%xmm6 1647 movl %edx,%r10d 1648 1649 call _bsaes_encrypt8 1650 1651 pxor 0(%rsp),%xmm15 1652 pxor 16(%rsp),%xmm0 1653 movdqu %xmm15,0(%r13) 1654 pxor 32(%rsp),%xmm3 1655 movdqu %xmm0,16(%r13) 1656 pxor 48(%rsp),%xmm5 1657 movdqu %xmm3,32(%r13) 1658 pxor 64(%rsp),%xmm2 1659 movdqu %xmm5,48(%r13) 1660 pxor 80(%rsp),%xmm6 1661 movdqu %xmm2,64(%r13) 1662 pxor 96(%rsp),%xmm1 1663 movdqu %xmm6,80(%r13) 1664 pxor 112(%rsp),%xmm4 1665 movdqu %xmm1,96(%r13) 1666 movdqu %xmm4,112(%r13) 1667 leaq 128(%r13),%r13 1668 1669 movdqa 112(%rsp),%xmm6 1670 pxor %xmm14,%xmm14 1671 movdqa L$xts_magic(%rip),%xmm12 1672 pcmpgtd %xmm6,%xmm14 1673 pshufd $19,%xmm14,%xmm13 1674 pxor %xmm14,%xmm14 1675 paddq %xmm6,%xmm6 1676 pand %xmm12,%xmm13 1677 pcmpgtd %xmm6,%xmm14 1678 pxor %xmm13,%xmm6 1679 1680 subq $128,%r14 1681 jnc L$xts_enc_loop 1682 1683 L$xts_enc_short: 1684 addq $128,%r14 1685 jz L$xts_enc_done 1686 pshufd $19,%xmm14,%xmm13 1687 pxor %xmm14,%xmm14 1688 movdqa %xmm6,%xmm15 1689 movdqa %xmm6,0(%rsp) 1690 paddq %xmm6,%xmm6 1691 pand %xmm12,%xmm13 1692 pcmpgtd %xmm6,%xmm14 1693 pxor %xmm13,%xmm6 1694 pshufd $19,%xmm14,%xmm13 1695 pxor %xmm14,%xmm14 1696 movdqa %xmm6,%xmm0 1697 movdqa %xmm6,16(%rsp) 1698 paddq %xmm6,%xmm6 1699 pand %xmm12,%xmm13 1700 pcmpgtd %xmm6,%xmm14 1701 pxor %xmm13,%xmm6 1702 movdqu 0(%r12),%xmm7 1703 cmpq $16,%r14 1704 je L$xts_enc_1 1705 pshufd $19,%xmm14,%xmm13 1706 pxor %xmm14,%xmm14 1707 movdqa %xmm6,%xmm1 1708 movdqa %xmm6,32(%rsp) 1709 paddq %xmm6,%xmm6 1710 pand %xmm12,%xmm13 1711 pcmpgtd %xmm6,%xmm14 1712 pxor %xmm13,%xmm6 1713 movdqu 16(%r12),%xmm8 1714 cmpq $32,%r14 1715 je L$xts_enc_2 1716 pxor %xmm7,%xmm15 1717 pshufd $19,%xmm14,%xmm13 1718 pxor %xmm14,%xmm14 1719 movdqa %xmm6,%xmm2 1720 movdqa %xmm6,48(%rsp) 1721 paddq %xmm6,%xmm6 1722 pand %xmm12,%xmm13 1723 pcmpgtd %xmm6,%xmm14 1724 pxor %xmm13,%xmm6 1725 movdqu 32(%r12),%xmm9 1726 cmpq $48,%r14 1727 je L$xts_enc_3 1728 pxor %xmm8,%xmm0 1729 pshufd $19,%xmm14,%xmm13 1730 pxor %xmm14,%xmm14 1731 movdqa %xmm6,%xmm3 1732 movdqa %xmm6,64(%rsp) 1733 paddq %xmm6,%xmm6 1734 pand %xmm12,%xmm13 1735 pcmpgtd %xmm6,%xmm14 1736 pxor %xmm13,%xmm6 1737 movdqu 48(%r12),%xmm10 1738 cmpq $64,%r14 1739 je L$xts_enc_4 1740 pxor %xmm9,%xmm1 1741 pshufd $19,%xmm14,%xmm13 1742 pxor %xmm14,%xmm14 1743 movdqa %xmm6,%xmm4 1744 movdqa %xmm6,80(%rsp) 1745 paddq %xmm6,%xmm6 1746 pand %xmm12,%xmm13 1747 pcmpgtd %xmm6,%xmm14 1748 pxor %xmm13,%xmm6 1749 movdqu 64(%r12),%xmm11 1750 cmpq $80,%r14 1751 je L$xts_enc_5 1752 pxor %xmm10,%xmm2 1753 pshufd $19,%xmm14,%xmm13 1754 pxor %xmm14,%xmm14 1755 movdqa %xmm6,%xmm5 1756 movdqa %xmm6,96(%rsp) 1757 paddq %xmm6,%xmm6 1758 pand %xmm12,%xmm13 1759 pcmpgtd %xmm6,%xmm14 1760 pxor %xmm13,%xmm6 1761 movdqu 80(%r12),%xmm12 1762 cmpq $96,%r14 1763 je L$xts_enc_6 1764 pxor %xmm11,%xmm3 1765 movdqu 96(%r12),%xmm13 1766 pxor %xmm12,%xmm4 1767 movdqa %xmm6,112(%rsp) 1768 leaq 112(%r12),%r12 1769 pxor %xmm13,%xmm5 1770 leaq 128(%rsp),%rax 1771 movl %edx,%r10d 1772 1773 call _bsaes_encrypt8 1774 1775 pxor 0(%rsp),%xmm15 1776 pxor 16(%rsp),%xmm0 1777 movdqu %xmm15,0(%r13) 1778 pxor 32(%rsp),%xmm3 1779 movdqu %xmm0,16(%r13) 1780 pxor 48(%rsp),%xmm5 1781 movdqu %xmm3,32(%r13) 1782 pxor 64(%rsp),%xmm2 1783 movdqu %xmm5,48(%r13) 1784 pxor 80(%rsp),%xmm6 1785 movdqu %xmm2,64(%r13) 1786 pxor 96(%rsp),%xmm1 1787 movdqu %xmm6,80(%r13) 1788 movdqu %xmm1,96(%r13) 1789 leaq 112(%r13),%r13 1790 1791 movdqa 112(%rsp),%xmm6 1792 jmp L$xts_enc_done 1793 .p2align 4 1794 L$xts_enc_6: 1795 pxor %xmm11,%xmm3 1796 leaq 96(%r12),%r12 1797 pxor %xmm12,%xmm4 1798 leaq 128(%rsp),%rax 1799 movl %edx,%r10d 1800 1801 call _bsaes_encrypt8 1802 1803 pxor 0(%rsp),%xmm15 1804 pxor 16(%rsp),%xmm0 1805 movdqu %xmm15,0(%r13) 1806 pxor 32(%rsp),%xmm3 1807 movdqu %xmm0,16(%r13) 1808 pxor 48(%rsp),%xmm5 1809 movdqu %xmm3,32(%r13) 1810 pxor 64(%rsp),%xmm2 1811 movdqu %xmm5,48(%r13) 1812 pxor 80(%rsp),%xmm6 1813 movdqu %xmm2,64(%r13) 1814 movdqu %xmm6,80(%r13) 1815 leaq 96(%r13),%r13 1816 1817 movdqa 96(%rsp),%xmm6 1818 jmp L$xts_enc_done 1819 .p2align 4 1820 L$xts_enc_5: 1821 pxor %xmm10,%xmm2 1822 leaq 80(%r12),%r12 1823 pxor %xmm11,%xmm3 1824 leaq 128(%rsp),%rax 1825 movl %edx,%r10d 1826 1827 call _bsaes_encrypt8 1828 1829 pxor 0(%rsp),%xmm15 1830 pxor 16(%rsp),%xmm0 1831 movdqu %xmm15,0(%r13) 1832 pxor 32(%rsp),%xmm3 1833 movdqu %xmm0,16(%r13) 1834 pxor 48(%rsp),%xmm5 1835 movdqu %xmm3,32(%r13) 1836 pxor 64(%rsp),%xmm2 1837 movdqu %xmm5,48(%r13) 1838 movdqu %xmm2,64(%r13) 1839 leaq 80(%r13),%r13 1840 1841 movdqa 80(%rsp),%xmm6 1842 jmp L$xts_enc_done 1843 .p2align 4 1844 L$xts_enc_4: 1845 pxor %xmm9,%xmm1 1846 leaq 64(%r12),%r12 1847 pxor %xmm10,%xmm2 1848 leaq 128(%rsp),%rax 1849 movl %edx,%r10d 1850 1851 call _bsaes_encrypt8 1852 1853 pxor 0(%rsp),%xmm15 1854 pxor 16(%rsp),%xmm0 1855 movdqu %xmm15,0(%r13) 1856 pxor 32(%rsp),%xmm3 1857 movdqu %xmm0,16(%r13) 1858 pxor 48(%rsp),%xmm5 1859 movdqu %xmm3,32(%r13) 1860 movdqu %xmm5,48(%r13) 1861 leaq 64(%r13),%r13 1862 1863 movdqa 64(%rsp),%xmm6 1864 jmp L$xts_enc_done 1865 .p2align 4 1866 L$xts_enc_3: 1867 pxor %xmm8,%xmm0 1868 leaq 48(%r12),%r12 1869 pxor %xmm9,%xmm1 1870 leaq 128(%rsp),%rax 1871 movl %edx,%r10d 1872 1873 call _bsaes_encrypt8 1874 1875 pxor 0(%rsp),%xmm15 1876 pxor 16(%rsp),%xmm0 1877 movdqu %xmm15,0(%r13) 1878 pxor 32(%rsp),%xmm3 1879 movdqu %xmm0,16(%r13) 1880 movdqu %xmm3,32(%r13) 1881 leaq 48(%r13),%r13 1882 1883 movdqa 48(%rsp),%xmm6 1884 jmp L$xts_enc_done 1885 .p2align 4 1886 L$xts_enc_2: 1887 pxor %xmm7,%xmm15 1888 leaq 32(%r12),%r12 1889 pxor %xmm8,%xmm0 1890 leaq 128(%rsp),%rax 1891 movl %edx,%r10d 1892 1893 call _bsaes_encrypt8 1894 1895 pxor 0(%rsp),%xmm15 1896 pxor 16(%rsp),%xmm0 1897 movdqu %xmm15,0(%r13) 1898 movdqu %xmm0,16(%r13) 1899 leaq 32(%r13),%r13 1900 1901 movdqa 32(%rsp),%xmm6 1902 jmp L$xts_enc_done 1903 .p2align 4 1904 L$xts_enc_1: 1905 pxor %xmm15,%xmm7 1906 leaq 16(%r12),%r12 1907 movdqa %xmm7,32(%rbp) 1908 leaq 32(%rbp),%rdi 1909 leaq 32(%rbp),%rsi 1910 leaq (%r15),%rdx 1911 call _asm_AES_encrypt 1912 pxor 32(%rbp),%xmm15 1913 1914 1915 1916 1917 1918 movdqu %xmm15,0(%r13) 1919 leaq 16(%r13),%r13 1920 1921 movdqa 16(%rsp),%xmm6 1922 1923 L$xts_enc_done: 1924 andl $15,%ebx 1925 jz L$xts_enc_ret 1926 movq %r13,%rdx 1927 1928 L$xts_enc_steal: 1929 movzbl (%r12),%eax 1930 movzbl -16(%rdx),%ecx 1931 leaq 1(%r12),%r12 1932 movb %al,-16(%rdx) 1933 movb %cl,0(%rdx) 1934 leaq 1(%rdx),%rdx 1935 subl $1,%ebx 1936 jnz L$xts_enc_steal 1937 1938 movdqu -16(%r13),%xmm15 1939 leaq 32(%rbp),%rdi 1940 pxor %xmm6,%xmm15 1941 leaq 32(%rbp),%rsi 1942 movdqa %xmm15,32(%rbp) 1943 leaq (%r15),%rdx 1944 call _asm_AES_encrypt 1945 pxor 32(%rbp),%xmm6 1946 movdqu %xmm6,-16(%r13) 1947 1948 L$xts_enc_ret: 1949 leaq (%rsp),%rax 1950 pxor %xmm0,%xmm0 1951 L$xts_enc_bzero: 1952 movdqa %xmm0,0(%rax) 1953 movdqa %xmm0,16(%rax) 1954 leaq 32(%rax),%rax 1955 cmpq %rax,%rbp 1956 ja L$xts_enc_bzero 1957 1958 leaq (%rbp),%rsp 1959 movq 72(%rsp),%r15 1960 movq 80(%rsp),%r14 1961 movq 88(%rsp),%r13 1962 movq 96(%rsp),%r12 1963 movq 104(%rsp),%rbx 1964 movq 112(%rsp),%rax 1965 leaq 120(%rsp),%rsp 1966 movq %rax,%rbp 1967 L$xts_enc_epilogue: 1968 .byte 0xf3,0xc3 1969 1970 1971 .globl _bsaes_xts_decrypt 1972 .private_extern _bsaes_xts_decrypt 1973 1974 .p2align 4 1975 _bsaes_xts_decrypt: 1976 movq %rsp,%rax 1977 L$xts_dec_prologue: 1978 pushq %rbp 1979 pushq %rbx 1980 pushq %r12 1981 pushq %r13 1982 pushq %r14 1983 pushq %r15 1984 leaq -72(%rsp),%rsp 1985 movq %rsp,%rbp 1986 movq %rdi,%r12 1987 movq %rsi,%r13 1988 movq %rdx,%r14 1989 movq %rcx,%r15 1990 1991 leaq (%r9),%rdi 1992 leaq 32(%rbp),%rsi 1993 leaq (%r8),%rdx 1994 call _asm_AES_encrypt 1995 1996 movl 240(%r15),%eax 1997 movq %r14,%rbx 1998 1999 movl %eax,%edx 2000 shlq $7,%rax 2001 subq $96,%rax 2002 subq %rax,%rsp 2003 2004 movq %rsp,%rax 2005 movq %r15,%rcx 2006 movl %edx,%r10d 2007 call _bsaes_key_convert 2008 pxor (%rsp),%xmm7 2009 movdqa %xmm6,(%rax) 2010 movdqa %xmm7,(%rsp) 2011 2012 xorl %eax,%eax 2013 andq $-16,%r14 2014 testl $15,%ebx 2015 setnz %al 2016 shlq $4,%rax 2017 subq %rax,%r14 2018 2019 subq $128,%rsp 2020 movdqa 32(%rbp),%xmm6 2021 2022 pxor %xmm14,%xmm14 2023 movdqa L$xts_magic(%rip),%xmm12 2024 pcmpgtd %xmm6,%xmm14 2025 2026 subq $128,%r14 2027 jc L$xts_dec_short 2028 jmp L$xts_dec_loop 2029 2030 .p2align 4 2031 L$xts_dec_loop: 2032 pshufd $19,%xmm14,%xmm13 2033 pxor %xmm14,%xmm14 2034 movdqa %xmm6,%xmm15 2035 movdqa %xmm6,0(%rsp) 2036 paddq %xmm6,%xmm6 2037 pand %xmm12,%xmm13 2038 pcmpgtd %xmm6,%xmm14 2039 pxor %xmm13,%xmm6 2040 pshufd $19,%xmm14,%xmm13 2041 pxor %xmm14,%xmm14 2042 movdqa %xmm6,%xmm0 2043 movdqa %xmm6,16(%rsp) 2044 paddq %xmm6,%xmm6 2045 pand %xmm12,%xmm13 2046 pcmpgtd %xmm6,%xmm14 2047 pxor %xmm13,%xmm6 2048 movdqu 0(%r12),%xmm7 2049 pshufd $19,%xmm14,%xmm13 2050 pxor %xmm14,%xmm14 2051 movdqa %xmm6,%xmm1 2052 movdqa %xmm6,32(%rsp) 2053 paddq %xmm6,%xmm6 2054 pand %xmm12,%xmm13 2055 pcmpgtd %xmm6,%xmm14 2056 pxor %xmm13,%xmm6 2057 movdqu 16(%r12),%xmm8 2058 pxor %xmm7,%xmm15 2059 pshufd $19,%xmm14,%xmm13 2060 pxor %xmm14,%xmm14 2061 movdqa %xmm6,%xmm2 2062 movdqa %xmm6,48(%rsp) 2063 paddq %xmm6,%xmm6 2064 pand %xmm12,%xmm13 2065 pcmpgtd %xmm6,%xmm14 2066 pxor %xmm13,%xmm6 2067 movdqu 32(%r12),%xmm9 2068 pxor %xmm8,%xmm0 2069 pshufd $19,%xmm14,%xmm13 2070 pxor %xmm14,%xmm14 2071 movdqa %xmm6,%xmm3 2072 movdqa %xmm6,64(%rsp) 2073 paddq %xmm6,%xmm6 2074 pand %xmm12,%xmm13 2075 pcmpgtd %xmm6,%xmm14 2076 pxor %xmm13,%xmm6 2077 movdqu 48(%r12),%xmm10 2078 pxor %xmm9,%xmm1 2079 pshufd $19,%xmm14,%xmm13 2080 pxor %xmm14,%xmm14 2081 movdqa %xmm6,%xmm4 2082 movdqa %xmm6,80(%rsp) 2083 paddq %xmm6,%xmm6 2084 pand %xmm12,%xmm13 2085 pcmpgtd %xmm6,%xmm14 2086 pxor %xmm13,%xmm6 2087 movdqu 64(%r12),%xmm11 2088 pxor %xmm10,%xmm2 2089 pshufd $19,%xmm14,%xmm13 2090 pxor %xmm14,%xmm14 2091 movdqa %xmm6,%xmm5 2092 movdqa %xmm6,96(%rsp) 2093 paddq %xmm6,%xmm6 2094 pand %xmm12,%xmm13 2095 pcmpgtd %xmm6,%xmm14 2096 pxor %xmm13,%xmm6 2097 movdqu 80(%r12),%xmm12 2098 pxor %xmm11,%xmm3 2099 movdqu 96(%r12),%xmm13 2100 pxor %xmm12,%xmm4 2101 movdqu 112(%r12),%xmm14 2102 leaq 128(%r12),%r12 2103 movdqa %xmm6,112(%rsp) 2104 pxor %xmm13,%xmm5 2105 leaq 128(%rsp),%rax 2106 pxor %xmm14,%xmm6 2107 movl %edx,%r10d 2108 2109 call _bsaes_decrypt8 2110 2111 pxor 0(%rsp),%xmm15 2112 pxor 16(%rsp),%xmm0 2113 movdqu %xmm15,0(%r13) 2114 pxor 32(%rsp),%xmm5 2115 movdqu %xmm0,16(%r13) 2116 pxor 48(%rsp),%xmm3 2117 movdqu %xmm5,32(%r13) 2118 pxor 64(%rsp),%xmm1 2119 movdqu %xmm3,48(%r13) 2120 pxor 80(%rsp),%xmm6 2121 movdqu %xmm1,64(%r13) 2122 pxor 96(%rsp),%xmm2 2123 movdqu %xmm6,80(%r13) 2124 pxor 112(%rsp),%xmm4 2125 movdqu %xmm2,96(%r13) 2126 movdqu %xmm4,112(%r13) 2127 leaq 128(%r13),%r13 2128 2129 movdqa 112(%rsp),%xmm6 2130 pxor %xmm14,%xmm14 2131 movdqa L$xts_magic(%rip),%xmm12 2132 pcmpgtd %xmm6,%xmm14 2133 pshufd $19,%xmm14,%xmm13 2134 pxor %xmm14,%xmm14 2135 paddq %xmm6,%xmm6 2136 pand %xmm12,%xmm13 2137 pcmpgtd %xmm6,%xmm14 2138 pxor %xmm13,%xmm6 2139 2140 subq $128,%r14 2141 jnc L$xts_dec_loop 2142 2143 L$xts_dec_short: 2144 addq $128,%r14 2145 jz L$xts_dec_done 2146 pshufd $19,%xmm14,%xmm13 2147 pxor %xmm14,%xmm14 2148 movdqa %xmm6,%xmm15 2149 movdqa %xmm6,0(%rsp) 2150 paddq %xmm6,%xmm6 2151 pand %xmm12,%xmm13 2152 pcmpgtd %xmm6,%xmm14 2153 pxor %xmm13,%xmm6 2154 pshufd $19,%xmm14,%xmm13 2155 pxor %xmm14,%xmm14 2156 movdqa %xmm6,%xmm0 2157 movdqa %xmm6,16(%rsp) 2158 paddq %xmm6,%xmm6 2159 pand %xmm12,%xmm13 2160 pcmpgtd %xmm6,%xmm14 2161 pxor %xmm13,%xmm6 2162 movdqu 0(%r12),%xmm7 2163 cmpq $16,%r14 2164 je L$xts_dec_1 2165 pshufd $19,%xmm14,%xmm13 2166 pxor %xmm14,%xmm14 2167 movdqa %xmm6,%xmm1 2168 movdqa %xmm6,32(%rsp) 2169 paddq %xmm6,%xmm6 2170 pand %xmm12,%xmm13 2171 pcmpgtd %xmm6,%xmm14 2172 pxor %xmm13,%xmm6 2173 movdqu 16(%r12),%xmm8 2174 cmpq $32,%r14 2175 je L$xts_dec_2 2176 pxor %xmm7,%xmm15 2177 pshufd $19,%xmm14,%xmm13 2178 pxor %xmm14,%xmm14 2179 movdqa %xmm6,%xmm2 2180 movdqa %xmm6,48(%rsp) 2181 paddq %xmm6,%xmm6 2182 pand %xmm12,%xmm13 2183 pcmpgtd %xmm6,%xmm14 2184 pxor %xmm13,%xmm6 2185 movdqu 32(%r12),%xmm9 2186 cmpq $48,%r14 2187 je L$xts_dec_3 2188 pxor %xmm8,%xmm0 2189 pshufd $19,%xmm14,%xmm13 2190 pxor %xmm14,%xmm14 2191 movdqa %xmm6,%xmm3 2192 movdqa %xmm6,64(%rsp) 2193 paddq %xmm6,%xmm6 2194 pand %xmm12,%xmm13 2195 pcmpgtd %xmm6,%xmm14 2196 pxor %xmm13,%xmm6 2197 movdqu 48(%r12),%xmm10 2198 cmpq $64,%r14 2199 je L$xts_dec_4 2200 pxor %xmm9,%xmm1 2201 pshufd $19,%xmm14,%xmm13 2202 pxor %xmm14,%xmm14 2203 movdqa %xmm6,%xmm4 2204 movdqa %xmm6,80(%rsp) 2205 paddq %xmm6,%xmm6 2206 pand %xmm12,%xmm13 2207 pcmpgtd %xmm6,%xmm14 2208 pxor %xmm13,%xmm6 2209 movdqu 64(%r12),%xmm11 2210 cmpq $80,%r14 2211 je L$xts_dec_5 2212 pxor %xmm10,%xmm2 2213 pshufd $19,%xmm14,%xmm13 2214 pxor %xmm14,%xmm14 2215 movdqa %xmm6,%xmm5 2216 movdqa %xmm6,96(%rsp) 2217 paddq %xmm6,%xmm6 2218 pand %xmm12,%xmm13 2219 pcmpgtd %xmm6,%xmm14 2220 pxor %xmm13,%xmm6 2221 movdqu 80(%r12),%xmm12 2222 cmpq $96,%r14 2223 je L$xts_dec_6 2224 pxor %xmm11,%xmm3 2225 movdqu 96(%r12),%xmm13 2226 pxor %xmm12,%xmm4 2227 movdqa %xmm6,112(%rsp) 2228 leaq 112(%r12),%r12 2229 pxor %xmm13,%xmm5 2230 leaq 128(%rsp),%rax 2231 movl %edx,%r10d 2232 2233 call _bsaes_decrypt8 2234 2235 pxor 0(%rsp),%xmm15 2236 pxor 16(%rsp),%xmm0 2237 movdqu %xmm15,0(%r13) 2238 pxor 32(%rsp),%xmm5 2239 movdqu %xmm0,16(%r13) 2240 pxor 48(%rsp),%xmm3 2241 movdqu %xmm5,32(%r13) 2242 pxor 64(%rsp),%xmm1 2243 movdqu %xmm3,48(%r13) 2244 pxor 80(%rsp),%xmm6 2245 movdqu %xmm1,64(%r13) 2246 pxor 96(%rsp),%xmm2 2247 movdqu %xmm6,80(%r13) 2248 movdqu %xmm2,96(%r13) 2249 leaq 112(%r13),%r13 2250 2251 movdqa 112(%rsp),%xmm6 2252 jmp L$xts_dec_done 2253 .p2align 4 2254 L$xts_dec_6: 2255 pxor %xmm11,%xmm3 2256 leaq 96(%r12),%r12 2257 pxor %xmm12,%xmm4 2258 leaq 128(%rsp),%rax 2259 movl %edx,%r10d 2260 2261 call _bsaes_decrypt8 2262 2263 pxor 0(%rsp),%xmm15 2264 pxor 16(%rsp),%xmm0 2265 movdqu %xmm15,0(%r13) 2266 pxor 32(%rsp),%xmm5 2267 movdqu %xmm0,16(%r13) 2268 pxor 48(%rsp),%xmm3 2269 movdqu %xmm5,32(%r13) 2270 pxor 64(%rsp),%xmm1 2271 movdqu %xmm3,48(%r13) 2272 pxor 80(%rsp),%xmm6 2273 movdqu %xmm1,64(%r13) 2274 movdqu %xmm6,80(%r13) 2275 leaq 96(%r13),%r13 2276 2277 movdqa 96(%rsp),%xmm6 2278 jmp L$xts_dec_done 2279 .p2align 4 2280 L$xts_dec_5: 2281 pxor %xmm10,%xmm2 2282 leaq 80(%r12),%r12 2283 pxor %xmm11,%xmm3 2284 leaq 128(%rsp),%rax 2285 movl %edx,%r10d 2286 2287 call _bsaes_decrypt8 2288 2289 pxor 0(%rsp),%xmm15 2290 pxor 16(%rsp),%xmm0 2291 movdqu %xmm15,0(%r13) 2292 pxor 32(%rsp),%xmm5 2293 movdqu %xmm0,16(%r13) 2294 pxor 48(%rsp),%xmm3 2295 movdqu %xmm5,32(%r13) 2296 pxor 64(%rsp),%xmm1 2297 movdqu %xmm3,48(%r13) 2298 movdqu %xmm1,64(%r13) 2299 leaq 80(%r13),%r13 2300 2301 movdqa 80(%rsp),%xmm6 2302 jmp L$xts_dec_done 2303 .p2align 4 2304 L$xts_dec_4: 2305 pxor %xmm9,%xmm1 2306 leaq 64(%r12),%r12 2307 pxor %xmm10,%xmm2 2308 leaq 128(%rsp),%rax 2309 movl %edx,%r10d 2310 2311 call _bsaes_decrypt8 2312 2313 pxor 0(%rsp),%xmm15 2314 pxor 16(%rsp),%xmm0 2315 movdqu %xmm15,0(%r13) 2316 pxor 32(%rsp),%xmm5 2317 movdqu %xmm0,16(%r13) 2318 pxor 48(%rsp),%xmm3 2319 movdqu %xmm5,32(%r13) 2320 movdqu %xmm3,48(%r13) 2321 leaq 64(%r13),%r13 2322 2323 movdqa 64(%rsp),%xmm6 2324 jmp L$xts_dec_done 2325 .p2align 4 2326 L$xts_dec_3: 2327 pxor %xmm8,%xmm0 2328 leaq 48(%r12),%r12 2329 pxor %xmm9,%xmm1 2330 leaq 128(%rsp),%rax 2331 movl %edx,%r10d 2332 2333 call _bsaes_decrypt8 2334 2335 pxor 0(%rsp),%xmm15 2336 pxor 16(%rsp),%xmm0 2337 movdqu %xmm15,0(%r13) 2338 pxor 32(%rsp),%xmm5 2339 movdqu %xmm0,16(%r13) 2340 movdqu %xmm5,32(%r13) 2341 leaq 48(%r13),%r13 2342 2343 movdqa 48(%rsp),%xmm6 2344 jmp L$xts_dec_done 2345 .p2align 4 2346 L$xts_dec_2: 2347 pxor %xmm7,%xmm15 2348 leaq 32(%r12),%r12 2349 pxor %xmm8,%xmm0 2350 leaq 128(%rsp),%rax 2351 movl %edx,%r10d 2352 2353 call _bsaes_decrypt8 2354 2355 pxor 0(%rsp),%xmm15 2356 pxor 16(%rsp),%xmm0 2357 movdqu %xmm15,0(%r13) 2358 movdqu %xmm0,16(%r13) 2359 leaq 32(%r13),%r13 2360 2361 movdqa 32(%rsp),%xmm6 2362 jmp L$xts_dec_done 2363 .p2align 4 2364 L$xts_dec_1: 2365 pxor %xmm15,%xmm7 2366 leaq 16(%r12),%r12 2367 movdqa %xmm7,32(%rbp) 2368 leaq 32(%rbp),%rdi 2369 leaq 32(%rbp),%rsi 2370 leaq (%r15),%rdx 2371 call _asm_AES_decrypt 2372 pxor 32(%rbp),%xmm15 2373 2374 2375 2376 2377 2378 movdqu %xmm15,0(%r13) 2379 leaq 16(%r13),%r13 2380 2381 movdqa 16(%rsp),%xmm6 2382 2383 L$xts_dec_done: 2384 andl $15,%ebx 2385 jz L$xts_dec_ret 2386 2387 pxor %xmm14,%xmm14 2388 movdqa L$xts_magic(%rip),%xmm12 2389 pcmpgtd %xmm6,%xmm14 2390 pshufd $19,%xmm14,%xmm13 2391 movdqa %xmm6,%xmm5 2392 paddq %xmm6,%xmm6 2393 pand %xmm12,%xmm13 2394 movdqu (%r12),%xmm15 2395 pxor %xmm13,%xmm6 2396 2397 leaq 32(%rbp),%rdi 2398 pxor %xmm6,%xmm15 2399 leaq 32(%rbp),%rsi 2400 movdqa %xmm15,32(%rbp) 2401 leaq (%r15),%rdx 2402 call _asm_AES_decrypt 2403 pxor 32(%rbp),%xmm6 2404 movq %r13,%rdx 2405 movdqu %xmm6,(%r13) 2406 2407 L$xts_dec_steal: 2408 movzbl 16(%r12),%eax 2409 movzbl (%rdx),%ecx 2410 leaq 1(%r12),%r12 2411 movb %al,(%rdx) 2412 movb %cl,16(%rdx) 2413 leaq 1(%rdx),%rdx 2414 subl $1,%ebx 2415 jnz L$xts_dec_steal 2416 2417 movdqu (%r13),%xmm15 2418 leaq 32(%rbp),%rdi 2419 pxor %xmm5,%xmm15 2420 leaq 32(%rbp),%rsi 2421 movdqa %xmm15,32(%rbp) 2422 leaq (%r15),%rdx 2423 call _asm_AES_decrypt 2424 pxor 32(%rbp),%xmm5 2425 movdqu %xmm5,(%r13) 2426 2427 L$xts_dec_ret: 2428 leaq (%rsp),%rax 2429 pxor %xmm0,%xmm0 2430 L$xts_dec_bzero: 2431 movdqa %xmm0,0(%rax) 2432 movdqa %xmm0,16(%rax) 2433 leaq 32(%rax),%rax 2434 cmpq %rax,%rbp 2435 ja L$xts_dec_bzero 2436 2437 leaq (%rbp),%rsp 2438 movq 72(%rsp),%r15 2439 movq 80(%rsp),%r14 2440 movq 88(%rsp),%r13 2441 movq 96(%rsp),%r12 2442 movq 104(%rsp),%rbx 2443 movq 112(%rsp),%rax 2444 leaq 120(%rsp),%rsp 2445 movq %rax,%rbp 2446 L$xts_dec_epilogue: 2447 .byte 0xf3,0xc3 2448 2449 2450 .p2align 6 2451 _bsaes_const: 2452 L$M0ISR: 2453 .quad 0x0a0e0206070b0f03, 0x0004080c0d010509 2454 L$ISRM0: 2455 .quad 0x01040b0e0205080f, 0x0306090c00070a0d 2456 L$ISR: 2457 .quad 0x0504070602010003, 0x0f0e0d0c080b0a09 2458 L$BS0: 2459 .quad 0x5555555555555555, 0x5555555555555555 2460 L$BS1: 2461 .quad 0x3333333333333333, 0x3333333333333333 2462 L$BS2: 2463 .quad 0x0f0f0f0f0f0f0f0f, 0x0f0f0f0f0f0f0f0f 2464 L$SR: 2465 .quad 0x0504070600030201, 0x0f0e0d0c0a09080b 2466 L$SRM0: 2467 .quad 0x0304090e00050a0f, 0x01060b0c0207080d 2468 L$M0SR: 2469 .quad 0x0a0e02060f03070b, 0x0004080c05090d01 2470 L$SWPUP: 2471 .quad 0x0706050403020100, 0x0c0d0e0f0b0a0908 2472 L$SWPUPM0SR: 2473 .quad 0x0a0d02060c03070b, 0x0004080f05090e01 2474 L$ADD1: 2475 .quad 0x0000000000000000, 0x0000000100000000 2476 L$ADD2: 2477 .quad 0x0000000000000000, 0x0000000200000000 2478 L$ADD3: 2479 .quad 0x0000000000000000, 0x0000000300000000 2480 L$ADD4: 2481 .quad 0x0000000000000000, 0x0000000400000000 2482 L$ADD5: 2483 .quad 0x0000000000000000, 0x0000000500000000 2484 L$ADD6: 2485 .quad 0x0000000000000000, 0x0000000600000000 2486 L$ADD7: 2487 .quad 0x0000000000000000, 0x0000000700000000 2488 L$ADD8: 2489 .quad 0x0000000000000000, 0x0000000800000000 2490 L$xts_magic: 2491 .long 0x87,0,1,0 2492 L$masks: 2493 .quad 0x0101010101010101, 0x0101010101010101 2494 .quad 0x0202020202020202, 0x0202020202020202 2495 .quad 0x0404040404040404, 0x0404040404040404 2496 .quad 0x0808080808080808, 0x0808080808080808 2497 L$M0: 2498 .quad 0x02060a0e03070b0f, 0x0004080c0105090d 2499 L$63: 2500 .quad 0x6363636363636363, 0x6363636363636363 2501 .byte 66,105,116,45,115,108,105,99,101,100,32,65,69,83,32,102,111,114,32,120,56,54,95,54,52,47,83,83,83,69,51,44,32,69,109,105,108,105,97,32,75,195,164,115,112,101,114,44,32,80,101,116,101,114,32,83,99,104,119,97,98,101,44,32,65,110,100,121,32,80,111,108,121,97,107,111,118,0 2502 .p2align 6 2503 2504 #endif 2505
