1 #include "arm_arch.h" 2 3 .text 4 .code 32 5 6 #if __ARM_ARCH__>=7 7 .align 5 8 .LOPENSSL_armcap: 9 .word OPENSSL_armcap_P-bn_mul_mont 10 #endif 11 12 .global bn_mul_mont 13 .hidden bn_mul_mont 14 .type bn_mul_mont,%function 15 16 .align 5 17 bn_mul_mont: 18 ldr ip,[sp,#4] @ load num 19 stmdb sp!,{r0,r2} @ sp points at argument block 20 #if __ARM_ARCH__>=7 21 tst ip,#7 22 bne .Lialu 23 adr r0,bn_mul_mont 24 ldr r2,.LOPENSSL_armcap 25 ldr r0,[r0,r2] 26 tst r0,#1 @ NEON available? 27 ldmia sp, {r0,r2} 28 beq .Lialu 29 add sp,sp,#8 30 b bn_mul8x_mont_neon 31 .align 4 32 .Lialu: 33 #endif 34 cmp ip,#2 35 mov r0,ip @ load num 36 movlt r0,#0 37 addlt sp,sp,#2*4 38 blt .Labrt 39 40 stmdb sp!,{r4-r12,lr} @ save 10 registers 41 42 mov r0,r0,lsl#2 @ rescale r0 for byte count 43 sub sp,sp,r0 @ alloca(4*num) 44 sub sp,sp,#4 @ +extra dword 45 sub r0,r0,#4 @ "num=num-1" 46 add r4,r2,r0 @ &bp[num-1] 47 48 add r0,sp,r0 @ r0 to point at &tp[num-1] 49 ldr r8,[r0,#14*4] @ &n0 50 ldr r2,[r2] @ bp[0] 51 ldr r5,[r1],#4 @ ap[0],ap++ 52 ldr r6,[r3],#4 @ np[0],np++ 53 ldr r8,[r8] @ *n0 54 str r4,[r0,#15*4] @ save &bp[num] 55 56 umull r10,r11,r5,r2 @ ap[0]*bp[0] 57 str r8,[r0,#14*4] @ save n0 value 58 mul r8,r10,r8 @ "tp[0]"*n0 59 mov r12,#0 60 umlal r10,r12,r6,r8 @ np[0]*n0+"t[0]" 61 mov r4,sp 62 63 .L1st: 64 ldr r5,[r1],#4 @ ap[j],ap++ 65 mov r10,r11 66 ldr r6,[r3],#4 @ np[j],np++ 67 mov r11,#0 68 umlal r10,r11,r5,r2 @ ap[j]*bp[0] 69 mov r14,#0 70 umlal r12,r14,r6,r8 @ np[j]*n0 71 adds r12,r12,r10 72 str r12,[r4],#4 @ tp[j-1]=,tp++ 73 adc r12,r14,#0 74 cmp r4,r0 75 bne .L1st 76 77 adds r12,r12,r11 78 ldr r4,[r0,#13*4] @ restore bp 79 mov r14,#0 80 ldr r8,[r0,#14*4] @ restore n0 81 adc r14,r14,#0 82 str r12,[r0] @ tp[num-1]= 83 str r14,[r0,#4] @ tp[num]= 84 85 .Louter: 87 sub r7,r0,sp @ "original" r0-1 value 88 sub r1,r1,r7 @ "rewind" ap to &ap[1] 89 ldr r2,[r4,#4]! @ *(++bp) 90 sub r3,r3,r7 @ "rewind" np to &np[1] 91 ldr r5,[r1,#-4] @ ap[0] 92 ldr r10,[sp] @ tp[0] 93 ldr r6,[r3,#-4] @ np[0] 94 ldr r7,[sp,#4] @ tp[1] 95 96 mov r11,#0 97 umlal r10,r11,r5,r2 @ ap[0]*bp[i]+tp[0] 98 str r4,[r0,#13*4] @ save bp 99 mul r8,r10,r8 100 mov r12,#0 101 umlal r10,r12,r6,r8 @ np[0]*n0+"tp[0]" 102 mov r4,sp 103 104 .Linner: 105 ldr r5,[r1],#4 @ ap[j],ap++ 106 adds r10,r11,r7 @ +=tp[j] 107 ldr r6,[r3],#4 @ np[j],np++ 108 mov r11,#0 109 umlal r10,r11,r5,r2 @ ap[j]*bp[i] 110 mov r14,#0 111 umlal r12,r14,r6,r8 @ np[j]*n0 112 adc r11,r11,#0 113 ldr r7,[r4,#8] @ tp[j+1] 114 adds r12,r12,r10 115 str r12,[r4],#4 @ tp[j-1]=,tp++ 116 adc r12,r14,#0 117 cmp r4,r0 118 bne .Linner 119 120 adds r12,r12,r11 121 mov r14,#0 122 ldr r4,[r0,#13*4] @ restore bp 123 adc r14,r14,#0 124 ldr r8,[r0,#14*4] @ restore n0 125 adds r12,r12,r7 126 ldr r7,[r0,#15*4] @ restore &bp[num] 127 adc r14,r14,#0 128 str r12,[r0] @ tp[num-1]= 129 str r14,[r0,#4] @ tp[num]= 130 131 cmp r4,r7 132 bne .Louter 133 134 ldr r2,[r0,#12*4] @ pull rp 136 add r0,r0,#4 @ r0 to point at &tp[num] 137 sub r5,r0,sp @ "original" num value 138 mov r4,sp @ "rewind" r4 139 mov r1,r4 @ "borrow" r1 140 sub r3,r3,r5 @ "rewind" r3 to &np[0] 141 142 subs r7,r7,r7 @ "clear" carry flag 143 .Lsub: ldr r7,[r4],#4 144 ldr r6,[r3],#4 145 sbcs r7,r7,r6 @ tp[j]-np[j] 146 str r7,[r2],#4 @ rp[j]= 147 teq r4,r0 @ preserve carry 148 bne .Lsub 149 sbcs r14,r14,#0 @ upmost carry 150 mov r4,sp @ "rewind" r4 151 sub r2,r2,r5 @ "rewind" r2 152 153 and r1,r4,r14 154 bic r3,r2,r14 155 orr r1,r1,r3 @ ap=borrow?tp:rp 156 157 .Lcopy: ldr r7,[r1],#4 @ copy or in-place refresh 158 str sp,[r4],#4 @ zap tp 159 str r7,[r2],#4 160 cmp r4,r0 161 bne .Lcopy 162 163 add sp,r0,#4 @ skip over tp[num+1] 164 ldmia sp!,{r4-r12,lr} @ restore registers 165 add sp,sp,#2*4 @ skip over {r0,r2} 166 mov r0,#1 167 .Labrt: tst lr,#1 168 moveq pc,lr @ be binary compatible with V4, yet 169 .word 0xe12fff1e @ interoperable with Thumb ISA:-) 170 .size bn_mul_mont,.-bn_mul_mont 171 #if __ARM_ARCH__>=7 172 .fpu neon 173 174 .type bn_mul8x_mont_neon,%function 175 .align 5 176 bn_mul8x_mont_neon: 177 mov ip,sp 178 stmdb sp!,{r4-r11} 179 vstmdb sp!,{d8-d15} @ ABI specification says so 180 ldmia ip,{r4-r5} @ load rest of parameter block 181 182 sub r7,sp,#16 183 vld1.32 {d28[0]}, [r2,:32]! 184 sub r7,r7,r5,lsl#4 185 vld1.32 {d0-d3}, [r1]! @ can't specify :32 :-( 186 and r7,r7,#-64 187 vld1.32 {d30[0]}, [r4,:32] 188 mov sp,r7 @ alloca 189 veor d8,d8,d8 190 subs r8,r5,#8 191 vzip.16 d28,d8 192 193 vmull.u32 q6,d28,d0[0] 194 vmull.u32 q7,d28,d0[1] 195 vmull.u32 q8,d28,d1[0] 196 vshl.i64 d10,d13,#16 197 vmull.u32 q9,d28,d1[1] 198 199 vadd.u64 d10,d10,d12 200 veor d8,d8,d8 201 vmul.u32 d29,d10,d30 202 203 vmull.u32 q10,d28,d2[0] 204 vld1.32 {d4-d7}, [r3]! 205 vmull.u32 q11,d28,d2[1] 206 vmull.u32 q12,d28,d3[0] 207 vzip.16 d29,d8 208 vmull.u32 q13,d28,d3[1] 209 210 bne .LNEON_1st 211 212 @ special case for num=8, everything is in register bank... 213 214 vmlal.u32 q6,d29,d4[0] 215 sub r9,r5,#1 216 vmlal.u32 q7,d29,d4[1] 217 vmlal.u32 q8,d29,d5[0] 218 vmlal.u32 q9,d29,d5[1] 219 220 vmlal.u32 q10,d29,d6[0] 221 vmov q5,q6 222 vmlal.u32 q11,d29,d6[1] 223 vmov q6,q7 224 vmlal.u32 q12,d29,d7[0] 225 vmov q7,q8 226 vmlal.u32 q13,d29,d7[1] 227 vmov q8,q9 228 vmov q9,q10 229 vshr.u64 d10,d10,#16 230 vmov q10,q11 231 vmov q11,q12 232 vadd.u64 d10,d10,d11 233 vmov q12,q13 234 veor q13,q13 235 vshr.u64 d10,d10,#16 236 237 b .LNEON_outer8 238 239 .align 4 240 .LNEON_outer8: 241 vld1.32 {d28[0]}, [r2,:32]! 242 veor d8,d8,d8 243 vzip.16 d28,d8 244 vadd.u64 d12,d12,d10 245 246 vmlal.u32 q6,d28,d0[0] 247 vmlal.u32 q7,d28,d0[1] 248 vmlal.u32 q8,d28,d1[0] 249 vshl.i64 d10,d13,#16 250 vmlal.u32 q9,d28,d1[1] 251 252 vadd.u64 d10,d10,d12 253 veor d8,d8,d8 254 subs r9,r9,#1 255 vmul.u32 d29,d10,d30 256 257 vmlal.u32 q10,d28,d2[0] 258 vmlal.u32 q11,d28,d2[1] 259 vmlal.u32 q12,d28,d3[0] 260 vzip.16 d29,d8 261 vmlal.u32 q13,d28,d3[1] 262 263 vmlal.u32 q6,d29,d4[0] 264 vmlal.u32 q7,d29,d4[1] 265 vmlal.u32 q8,d29,d5[0] 266 vmlal.u32 q9,d29,d5[1] 267 268 vmlal.u32 q10,d29,d6[0] 269 vmov q5,q6 270 vmlal.u32 q11,d29,d6[1] 271 vmov q6,q7 272 vmlal.u32 q12,d29,d7[0] 273 vmov q7,q8 274 vmlal.u32 q13,d29,d7[1] 275 vmov q8,q9 276 vmov q9,q10 277 vshr.u64 d10,d10,#16 278 vmov q10,q11 279 vmov q11,q12 280 vadd.u64 d10,d10,d11 281 vmov q12,q13 282 veor q13,q13 283 vshr.u64 d10,d10,#16 284 285 bne .LNEON_outer8 286 287 vadd.u64 d12,d12,d10 288 mov r7,sp 289 vshr.u64 d10,d12,#16 290 mov r8,r5 291 vadd.u64 d13,d13,d10 292 add r6,sp,#16 293 vshr.u64 d10,d13,#16 294 vzip.16 d12,d13 295 296 b .LNEON_tail2 297 298 .align 4 299 .LNEON_1st: 300 vmlal.u32 q6,d29,d4[0] 301 vld1.32 {d0-d3}, [r1]! 302 vmlal.u32 q7,d29,d4[1] 303 subs r8,r8,#8 304 vmlal.u32 q8,d29,d5[0] 305 vmlal.u32 q9,d29,d5[1] 306 307 vmlal.u32 q10,d29,d6[0] 308 vld1.32 {d4-d5}, [r3]! 309 vmlal.u32 q11,d29,d6[1] 310 vst1.64 {q6-q7}, [r7,:256]! 311 vmlal.u32 q12,d29,d7[0] 312 vmlal.u32 q13,d29,d7[1] 313 vst1.64 {q8-q9}, [r7,:256]! 314 315 vmull.u32 q6,d28,d0[0] 316 vld1.32 {d6-d7}, [r3]! 317 vmull.u32 q7,d28,d0[1] 318 vst1.64 {q10-q11}, [r7,:256]! 319 vmull.u32 q8,d28,d1[0] 320 vmull.u32 q9,d28,d1[1] 321 vst1.64 {q12-q13}, [r7,:256]! 322 323 vmull.u32 q10,d28,d2[0] 324 vmull.u32 q11,d28,d2[1] 325 vmull.u32 q12,d28,d3[0] 326 vmull.u32 q13,d28,d3[1] 327 328 bne .LNEON_1st 329 330 vmlal.u32 q6,d29,d4[0] 331 add r6,sp,#16 332 vmlal.u32 q7,d29,d4[1] 333 sub r1,r1,r5,lsl#2 @ rewind r1 334 vmlal.u32 q8,d29,d5[0] 335 vld1.64 {q5}, [sp,:128] 336 vmlal.u32 q9,d29,d5[1] 337 sub r9,r5,#1 338 339 vmlal.u32 q10,d29,d6[0] 340 vst1.64 {q6-q7}, [r7,:256]! 341 vmlal.u32 q11,d29,d6[1] 342 vshr.u64 d10,d10,#16 343 vld1.64 {q6}, [r6, :128]! 344 vmlal.u32 q12,d29,d7[0] 345 vst1.64 {q8-q9}, [r7,:256]! 346 vmlal.u32 q13,d29,d7[1] 347 348 vst1.64 {q10-q11}, [r7,:256]! 349 vadd.u64 d10,d10,d11 350 veor q4,q4,q4 351 vst1.64 {q12-q13}, [r7,:256]! 352 vld1.64 {q7-q8}, [r6, :256]! 353 vst1.64 {q4}, [r7,:128] 354 vshr.u64 d10,d10,#16 355 356 b .LNEON_outer 357 358 .align 4 359 .LNEON_outer: 360 vld1.32 {d28[0]}, [r2,:32]! 361 sub r3,r3,r5,lsl#2 @ rewind r3 362 vld1.32 {d0-d3}, [r1]! 363 veor d8,d8,d8 364 mov r7,sp 365 vzip.16 d28,d8 366 sub r8,r5,#8 367 vadd.u64 d12,d12,d10 368 369 vmlal.u32 q6,d28,d0[0] 370 vld1.64 {q9-q10},[r6,:256]! 371 vmlal.u32 q7,d28,d0[1] 372 vmlal.u32 q8,d28,d1[0] 373 vld1.64 {q11-q12},[r6,:256]! 374 vmlal.u32 q9,d28,d1[1] 375 376 vshl.i64 d10,d13,#16 377 veor d8,d8,d8 378 vadd.u64 d10,d10,d12 379 vld1.64 {q13},[r6,:128]! 380 vmul.u32 d29,d10,d30 381 382 vmlal.u32 q10,d28,d2[0] 383 vld1.32 {d4-d7}, [r3]! 384 vmlal.u32 q11,d28,d2[1] 385 vmlal.u32 q12,d28,d3[0] 386 vzip.16 d29,d8 387 vmlal.u32 q13,d28,d3[1] 388 389 .LNEON_inner: 390 vmlal.u32 q6,d29,d4[0] 391 vld1.32 {d0-d3}, [r1]! 392 vmlal.u32 q7,d29,d4[1] 393 subs r8,r8,#8 394 vmlal.u32 q8,d29,d5[0] 395 vmlal.u32 q9,d29,d5[1] 396 vst1.64 {q6-q7}, [r7,:256]! 397 398 vmlal.u32 q10,d29,d6[0] 399 vld1.64 {q6}, [r6, :128]! 400 vmlal.u32 q11,d29,d6[1] 401 vst1.64 {q8-q9}, [r7,:256]! 402 vmlal.u32 q12,d29,d7[0] 403 vld1.64 {q7-q8}, [r6, :256]! 404 vmlal.u32 q13,d29,d7[1] 405 vst1.64 {q10-q11}, [r7,:256]! 406 407 vmlal.u32 q6,d28,d0[0] 408 vld1.64 {q9-q10}, [r6, :256]! 409 vmlal.u32 q7,d28,d0[1] 410 vst1.64 {q12-q13}, [r7,:256]! 411 vmlal.u32 q8,d28,d1[0] 412 vld1.64 {q11-q12}, [r6, :256]! 413 vmlal.u32 q9,d28,d1[1] 414 vld1.32 {d4-d7}, [r3]! 415 416 vmlal.u32 q10,d28,d2[0] 417 vld1.64 {q13}, [r6, :128]! 418 vmlal.u32 q11,d28,d2[1] 419 vmlal.u32 q12,d28,d3[0] 420 vmlal.u32 q13,d28,d3[1] 421 422 bne .LNEON_inner 423 424 vmlal.u32 q6,d29,d4[0] 425 add r6,sp,#16 426 vmlal.u32 q7,d29,d4[1] 427 sub r1,r1,r5,lsl#2 @ rewind r1 428 vmlal.u32 q8,d29,d5[0] 429 vld1.64 {q5}, [sp,:128] 430 vmlal.u32 q9,d29,d5[1] 431 subs r9,r9,#1 432 433 vmlal.u32 q10,d29,d6[0] 434 vst1.64 {q6-q7}, [r7,:256]! 435 vmlal.u32 q11,d29,d6[1] 436 vld1.64 {q6}, [r6, :128]! 437 vshr.u64 d10,d10,#16 438 vst1.64 {q8-q9}, [r7,:256]! 439 vmlal.u32 q12,d29,d7[0] 440 vld1.64 {q7-q8}, [r6, :256]! 441 vmlal.u32 q13,d29,d7[1] 442 443 vst1.64 {q10-q11}, [r7,:256]! 444 vadd.u64 d10,d10,d11 445 vst1.64 {q12-q13}, [r7,:256]! 446 vshr.u64 d10,d10,#16 447 448 bne .LNEON_outer 449 450 mov r7,sp 451 mov r8,r5 452 453 .LNEON_tail: 454 vadd.u64 d12,d12,d10 455 vld1.64 {q9-q10}, [r6, :256]! 456 vshr.u64 d10,d12,#16 457 vadd.u64 d13,d13,d10 458 vld1.64 {q11-q12}, [r6, :256]! 459 vshr.u64 d10,d13,#16 460 vld1.64 {q13}, [r6, :128]! 461 vzip.16 d12,d13 462 463 .LNEON_tail2: 464 vadd.u64 d14,d14,d10 465 vst1.32 {d12[0]}, [r7, :32]! 466 vshr.u64 d10,d14,#16 467 vadd.u64 d15,d15,d10 468 vshr.u64 d10,d15,#16 469 vzip.16 d14,d15 470 471 vadd.u64 d16,d16,d10 472 vst1.32 {d14[0]}, [r7, :32]! 473 vshr.u64 d10,d16,#16 474 vadd.u64 d17,d17,d10 475 vshr.u64 d10,d17,#16 476 vzip.16 d16,d17 477 478 vadd.u64 d18,d18,d10 479 vst1.32 {d16[0]}, [r7, :32]! 480 vshr.u64 d10,d18,#16 481 vadd.u64 d19,d19,d10 482 vshr.u64 d10,d19,#16 483 vzip.16 d18,d19 484 485 vadd.u64 d20,d20,d10 486 vst1.32 {d18[0]}, [r7, :32]! 487 vshr.u64 d10,d20,#16 488 vadd.u64 d21,d21,d10 489 vshr.u64 d10,d21,#16 490 vzip.16 d20,d21 491 492 vadd.u64 d22,d22,d10 493 vst1.32 {d20[0]}, [r7, :32]! 494 vshr.u64 d10,d22,#16 495 vadd.u64 d23,d23,d10 496 vshr.u64 d10,d23,#16 497 vzip.16 d22,d23 498 499 vadd.u64 d24,d24,d10 500 vst1.32 {d22[0]}, [r7, :32]! 501 vshr.u64 d10,d24,#16 502 vadd.u64 d25,d25,d10 503 vld1.64 {q6}, [r6, :128]! 504 vshr.u64 d10,d25,#16 505 vzip.16 d24,d25 506 507 vadd.u64 d26,d26,d10 508 vst1.32 {d24[0]}, [r7, :32]! 509 vshr.u64 d10,d26,#16 510 vadd.u64 d27,d27,d10 511 vld1.64 {q7-q8}, [r6, :256]! 512 vshr.u64 d10,d27,#16 513 vzip.16 d26,d27 514 subs r8,r8,#8 515 vst1.32 {d26[0]}, [r7, :32]! 516 517 bne .LNEON_tail 518 519 vst1.32 {d10[0]}, [r7, :32] @ top-most bit 520 sub r3,r3,r5,lsl#2 @ rewind r3 521 subs r1,sp,#0 @ clear carry flag 522 add r2,sp,r5,lsl#2 523 524 .LNEON_sub: 525 ldmia r1!, {r4-r7} 526 ldmia r3!, {r8-r11} 527 sbcs r8, r4,r8 528 sbcs r9, r5,r9 529 sbcs r10,r6,r10 530 sbcs r11,r7,r11 531 teq r1,r2 @ preserves carry 532 stmia r0!, {r8-r11} 533 bne .LNEON_sub 534 535 ldr r10, [r1] @ load top-most bit 536 veor q0,q0,q0 537 sub r11,r2,sp @ this is num*4 538 veor q1,q1,q1 539 mov r1,sp 540 sub r0,r0,r11 @ rewind r0 541 mov r3,r2 @ second 3/4th of frame 542 sbcs r10,r10,#0 @ result is carry flag 543 544 .LNEON_copy_n_zap: 545 ldmia r1!, {r4-r7} 546 ldmia r0, {r8-r11} 547 movcc r8, r4 548 vst1.64 {q0-q1}, [r3,:256]! @ wipe 549 movcc r9, r5 550 movcc r10,r6 551 vst1.64 {q0-q1}, [r3,:256]! @ wipe 552 movcc r11,r7 553 ldmia r1, {r4-r7} 554 stmia r0!, {r8-r11} 555 sub r1,r1,#16 556 ldmia r0, {r8-r11} 557 movcc r8, r4 558 vst1.64 {q0-q1}, [r1,:256]! @ wipe 559 movcc r9, r5 560 movcc r10,r6 561 vst1.64 {q0-q1}, [r3,:256]! @ wipe 562 movcc r11,r7 563 teq r1,r2 @ preserves carry 564 stmia r0!, {r8-r11} 565 bne .LNEON_copy_n_zap 566 567 sub sp,ip,#96 568 vldmia sp!,{d8-d15} 569 ldmia sp!,{r4-r11} 570 .word 0xe12fff1e 571 .size bn_mul8x_mont_neon,.-bn_mul8x_mont_neon 572 #endif 573 .asciz "Montgomery multiplication for ARMv4/NEON, CRYPTOGAMS by <appro (at) openssl.org>" 574 .align 2 575 #if __ARM_ARCH__>=7 576 .comm OPENSSL_armcap_P,4,4 577 #endif 578
