Lines Matching refs:SZ
145 $SZ=8;
157 $SZ=4;
172 $_ctx="16*$SZ+0*8(%rsp)";
173 $_inp="16*$SZ+1*8(%rsp)";
174 $_end="16*$SZ+2*8(%rsp)";
175 $_rsp="`16*$SZ+3*8`(%rsp)";
176 $framesz="16*$SZ+4*8";
181 my $STRIDE=$SZ;
182 $STRIDE += 16 if ($i%(16/$SZ)==(16/$SZ-1));
192 mov $T1,`$SZ*($i&0xf)`(%rsp)
232 mov `$SZ*(($i+1)&0xf)`(%rsp),$a0
233 mov `$SZ*(($i+14)&0xf)`(%rsp),$a2
250 add `$SZ*(($i+9)&0xf)`(%rsp),$T1
252 add `$SZ*($i&0xf)`(%rsp),$T1
270 $code.=<<___ if ($SZ==4 || $avx);
276 $code.=<<___ if ($SZ==4 && $shaext);
294 $code.=<<___ if ($SZ==4);
315 lea ($inp,%rdx,$SZ),%rdx # inp+num*16*$SZ
324 mov $SZ*0($ctx),$A
325 mov $SZ*1($ctx),$B
326 mov $SZ*2($ctx),$C
327 mov $SZ*3($ctx),$D
328 mov $SZ*4($ctx),$E
329 mov $SZ*5($ctx),$F
330 mov $SZ*6($ctx),$G
331 mov $SZ*7($ctx),$H
341 $code.=" mov $SZ*$i($inp),$T1\n";
359 cmpb \$0,`$SZ-1`($Tbl)
364 lea 16*$SZ($inp),$inp
366 add $SZ*0($ctx),$A
367 add $SZ*1($ctx),$B
368 add $SZ*2($ctx),$C
369 add $SZ*3($ctx),$D
370 add $SZ*4($ctx),$E
371 add $SZ*5($ctx),$F
372 add $SZ*6($ctx),$G
373 add $SZ*7($ctx),$H
377 mov $A,$SZ*0($ctx)
378 mov $B,$SZ*1($ctx)
379 mov $C,$SZ*2($ctx)
380 mov $D,$SZ*3($ctx)
381 mov $E,$SZ*4($ctx)
382 mov $F,$SZ*5($ctx)
383 mov $G,$SZ*6($ctx)
384 mov $H,$SZ*7($ctx)
409 if ($SZ==4) {
550 if ($SZ==4 && $shaext) {{{
739 '&add ($h,$SZ*($i&15)."(%rsp)")', # h+=X[i]+K[i]
767 if ($SZ==4) { # SHA256 only
793 lea ($inp,%rdx,$SZ),%rdx # inp+num*16*$SZ
802 movaps %xmm6,16*$SZ+32(%rsp)
803 movaps %xmm7,16*$SZ+48(%rsp)
804 movaps %xmm8,16*$SZ+64(%rsp)
805 movaps %xmm9,16*$SZ+80(%rsp)
810 mov $SZ*0($ctx),$A
811 mov $SZ*1($ctx),$B
812 mov $SZ*2($ctx),$C
813 mov $SZ*3($ctx),$D
814 mov $SZ*4($ctx),$E
815 mov $SZ*5($ctx),$F
816 mov $SZ*6($ctx),$G
817 mov $SZ*7($ctx),$H
821 #movdqa $TABLE+`$SZ*2*$rounds`+32(%rip),$t4
822 #movdqa $TABLE+`$SZ*2*$rounds`+64(%rip),$t5
826 movdqa $TABLE+`$SZ*2*$rounds`(%rip),$t3
856 sub \$`-16*2*$SZ`,$Tbl # size optimization
862 '&palignr ($t0,@X[0],$SZ)', # X[1..4]
863 '&palignr ($t3,@X[2],$SZ);', # X[9..12]
870 '&pslld ($t1,8*$SZ-$sigma0[1]);'.
923 &palignr ($t0,@X[0],$SZ); # X[1..4]
926 &palignr ($t3,@X[2],$SZ); # X[9..12]
950 &pslld ($t1,8*$SZ-$sigma0[1]);
1065 &cmpb ($SZ-1+16*2*$SZ."($Tbl)",0);
1075 add $SZ*0($ctx),$A
1076 lea 16*$SZ($inp),$inp
1077 add $SZ*1($ctx),$B
1078 add $SZ*2($ctx),$C
1079 add $SZ*3($ctx),$D
1080 add $SZ*4($ctx),$E
1081 add $SZ*5($ctx),$F
1082 add $SZ*6($ctx),$G
1083 add $SZ*7($ctx),$H
1087 mov $A,$SZ*0($ctx)
1088 mov $B,$SZ*1($ctx)
1089 mov $C,$SZ*2($ctx)
1090 mov $D,$SZ*3($ctx)
1091 mov $E,$SZ*4($ctx)
1092 mov $F,$SZ*5($ctx)
1093 mov $G,$SZ*6($ctx)
1094 mov $H,$SZ*7($ctx)
1101 movaps 16*$SZ+32(%rsp),%xmm6
1102 movaps 16*$SZ+48(%rsp),%xmm7
1103 movaps 16*$SZ+64(%rsp),%xmm8
1104 movaps 16*$SZ+80(%rsp),%xmm9
1155 sub \$`$framesz+$win64*16*($SZ==4?4:6)`,%rsp
1156 lea ($inp,%rdx,$SZ),%rdx # inp+num*16*$SZ
1165 movaps %xmm6,16*$SZ+32(%rsp)
1166 movaps %xmm7,16*$SZ+48(%rsp)
1167 movaps %xmm8,16*$SZ+64(%rsp)
1168 movaps %xmm9,16*$SZ+80(%rsp)
1170 $code.=<<___ if ($win64 && $SZ>4);
1171 movaps %xmm10,16*$SZ+96(%rsp)
1172 movaps %xmm11,16*$SZ+112(%rsp)
1178 mov $SZ*0($ctx),$A
1179 mov $SZ*1($ctx),$B
1180 mov $SZ*2($ctx),$C
1181 mov $SZ*3($ctx),$D
1182 mov $SZ*4($ctx),$E
1183 mov $SZ*5($ctx),$F
1184 mov $SZ*6($ctx),$G
1185 mov $SZ*7($ctx),$H
1187 if ($SZ==4) { # SHA256
1192 vmovdqa $TABLE+`$SZ*2*$rounds`+32(%rip),$t4
1193 SZ*2*$rounds`+64(%rip),$t5
1197 vmovdqa $TABLE+`$SZ*2*$rounds`(%rip),$t3
1223 sub \$`-16*2*$SZ`,$Tbl # size optimization
1227 '&vpalignr ($t0,@X[1],@X[0],$SZ)', # X[1..4]
1228 '&vpalignr ($t3,@X[3],@X[2],$SZ)', # X[9..12]
1232 '&vpslld ($t1,$t0,8*$SZ-$sigma0[1]);',
1280 &cmpb ($SZ-1+16*2*$SZ."($Tbl)",0);
1295 vmovdqa $TABLE+`$SZ*2*$rounds`(%rip),$t3
1337 add \$`16*2*$SZ`,$Tbl
1341 '&vpalignr ($t0,@X[1],@X[0],$SZ)', # X[1..2]
1342 '&vpalignr ($t3,@X[5],@X[4],$SZ)', # X[9..10]
1346 '&vpsllq ($t1,$t0,8*$SZ-$sigma0[1]);',
1354 '&vpsllq ($t2,@X[7],8*$SZ-$sigma1[1]);',
1387 &cmpb ($SZ-1+16*2*$SZ-0x80."($Tbl)",0);
1398 add $SZ*0($ctx),$A
1399 lea 16*$SZ($inp),$inp
1400 add $SZ*1($ctx),$B
1401 add $SZ*2($ctx),$C
1402 add $SZ*3($ctx),$D
1403 add $SZ*4($ctx),$E
1404 add $SZ*5($ctx),$F
1405 add $SZ*6($ctx),$G
1406 add $SZ*7($ctx),$H
1410 mov $A,$SZ*0($ctx)
1411 mov $B,$SZ*1($ctx)
1412 mov $C,$SZ*2($ctx)
1413 mov $D,$SZ*3($ctx)
1414 mov $E,$SZ*4($ctx)
1415 mov $F,$SZ*5($ctx)
1416 mov $G,$SZ*6($ctx)
1417 mov $H,$SZ*7($ctx)
1425 movaps 16*$SZ+32(%rsp),%xmm6
1426 movaps 16*$SZ+48(%rsp),%xmm7
1427 movaps 16*$SZ+64(%rsp),%xmm8
1428 movaps 16*$SZ+80(%rsp),%xmm9
1430 $code.=<<___ if ($win64 && $SZ>4);
1431 movaps 16*$SZ+96(%rsp),%xmm10
1432 movaps 16*$SZ+112(%rsp),%xmm11
1459 my $a5=$SZ==4?"%esi":"%rsi"; # zap $inp
1460 my $PUSH8=8*2*$SZ;
1468 '&add ($h,(32*($i/(16/$SZ))+$SZ*($i%(16/$SZ)))%$PUSH8.$base)', # h+=X[i]+K[i]
1523 sub \$`2*$SZ*$rounds+4*8+$win64*16*($SZ==4?4:6)`,%rsp
1525 and \$-256*$SZ,%rsp # align stack frame
1526 lea ($inp,%rdx,$SZ),%rdx # inp+num*16*$SZ
1527 add \$`2*$SZ*($rounds-8)`,%rsp
1535 movaps %xmm6,16*$SZ+32(%rsp)
1536 movaps %xmm7,16*$SZ+48(%rsp)
1537 movaps %xmm8,16*$SZ+64(%rsp)
1538 movaps %xmm9,16*$SZ+80(%rsp)
1540 $code.=<<___ if ($win64 && $SZ>4);
1541 movaps %xmm10,16*$SZ+96(%rsp)
1542 movaps %xmm11,16*$SZ+112(%rsp)
1548 sub \$-16*$SZ,$inp # inp++, size optimization
1549 mov $SZ*0($ctx),$A
1551 mov $SZ*1($ctx),$B
1553 mov $SZ*2($ctx),$C
1555 mov $SZ*3($ctx),$D
1556 mov $SZ*4($ctx),$E
1557 mov $SZ*5($ctx),$F
1558 mov $SZ*6($ctx),$G
1559 mov $SZ*7($ctx),$H
1561 if ($SZ==4) { # SHA256
1566 vmovdqa $TABLE+`$SZ*2*$rounds`+32(%rip),$t4
1567 vmovdqa $TABLE+`$SZ*2*$rounds`+64(%rip),$t5
1571 vmovdqa $TABLE+`$SZ*2*$rounds`(%rip),$t3
1572 vmovdqu -16*$SZ+0($inp),%xmm0
1573 vmovdqu -16*$SZ+16($inp),%xmm1
1574 vmovdqu -16*$SZ+32($inp),%xmm2
1575 vmovdqu -16*$SZ+48($inp),%xmm3
1600 sub \$-16*2*$SZ,$Tbl # size optimization
1630 &lea ($Tbl,16*2*$SZ."($Tbl)");
1631 &cmpb (($SZ-1)."($Tbl)",0);
1646 vmovdqu -16*$SZ($inp),%xmm0
1647 vmovdqu -16*$SZ+16($inp),%xmm1
1648 vmovdqu -16*$SZ+32($inp),%xmm2
1650 vmovdqu -16*$SZ+48($inp),%xmm3
1651 vmovdqu -16*$SZ+64($inp),%xmm4
1652 vmovdqu -16*$SZ+80($inp),%xmm5
1653 vmovdqu -16*$SZ+96($inp),%xmm6
1654 vmovdqu -16*$SZ+112($inp),%xmm7
1656 vmovdqa `$SZ*2*$rounds-0x80`($Tbl),$t2
1695 add \$16*2*$SZ,$Tbl
1727 &lea ($Tbl,16*2*$SZ."($Tbl)");
1728 &cmpb (($SZ-1-0x80)."($Tbl)",0);
1737 mov `2*$SZ*$rounds`(%rsp),$ctx # $_ctx
1739 #mov `2*$SZ*$rounds+8`(%rsp),$inp # $_inp
1740 lea `2*$SZ*($rounds-8)`(%rsp),$Tbl
1742 add $SZ*0($ctx),$A
1743 add $SZ*1($ctx),$B
1744 add $SZ*2($ctx),$C
1745 add $SZ*3($ctx),$D
1746 add $SZ*4($ctx),$E
1747 add $SZ*5($ctx),$F
1748 add $SZ*6($ctx),$G
1749 add $SZ*7($ctx),$H
1751 mov $A,$SZ*0($ctx)
1752 mov $B,$SZ*1($ctx)
1753 mov $C,$SZ*2($ctx)
1754 mov $D,$SZ*3($ctx)
1755 mov $E,$SZ*4($ctx)
1756 mov $F,$SZ*5($ctx)
1757 mov $G,$SZ*6($ctx)
1758 mov $H,$SZ*7($ctx)
1780 mov `2*$SZ*$rounds`(%rsp),$ctx # $_ctx
1782 #mov `2*$SZ*$rounds+8`(%rsp),$inp # $_inp
1783 lea `2*$SZ*($rounds-8)`(%rsp),%rsp
1785 add $SZ*0($ctx),$A
1786 add $SZ*1($ctx),$B
1787 add $SZ*2($ctx),$C
1788 add $SZ*3($ctx),$D
1789 add $SZ*4($ctx),$E
1790 add $SZ*5($ctx),$F
1791 lea `2*16*$SZ`($inp),$inp # inp+=2
1792 add $SZ*6($ctx),$G
1794 add $SZ*7($ctx),$H
1797 mov $A,$SZ*0($ctx)
1799 mov $B,$SZ*1($ctx)
1800 mov $C,$SZ*2($ctx)
1801 mov $D,$SZ*3($ctx)
1802 mov $E,$SZ*4($ctx)
1803 mov $F,$SZ*5($ctx)
1804 mov $G,$SZ*6($ctx)
1805 mov $H,$SZ*7($ctx)
1817 movaps 16*$SZ+32(%rsp),%xmm6
1818 movaps 16*$SZ+48(%rsp),%xmm7
1819 movaps 16*$SZ+64(%rsp),%xmm8
1820 movaps 16*$SZ+80(%rsp),%xmm9
1822 $code.=<<___ if ($win64 && $SZ>4);
1823 movaps 16*$SZ+96(%rsp),%xmm10
1824 movaps 16*$SZ+112(%rsp),%xmm11
1896 and \$-256*$SZ,%rax
1897 add \$`2*$SZ*($rounds-8)`,%rax
1902 mov 16*$SZ+3*8(%rax),%rax # pull $_rsp
1921 lea 16*$SZ+4*8(%rsi),%rsi # Xmm6- save area
1923 mov \$`$SZ==4?8:12`,%ecx
1967 $code.=<<___ if ($SZ==4 && $shaext);
2009 $code.=<<___ if ($SZ==4 && $shaext);
2014 $code.=<<___ if ($SZ==4);
2037 $code.=<<___ if ($SZ==4 && $shaext);
2042 $code.=<<___ if ($SZ==4);
