Home | History | Annotate | Download | only in X86 
      1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
      2 ; RUN: llc -march=x86-64 -mcpu=core2 -mattr=+sse4.1 < %s | FileCheck %s --check-prefix=SSE41
      3 ; RUN: llc -march=x86-64 -mcpu=core2 < %s | FileCheck %s --check-prefix=SSE
      4 ; RUN: llc -march=x86-64 -mcpu=core-avx2 < %s | FileCheck %s --check-prefix=AVX
      5 
      6 target triple = "x86_64-unknown-unknown"
      7 
      8 define <4 x i32> @test1(<4 x i32> %a) #0 {
      9 ; SSE41-LABEL: test1:
     10 ; SSE41:       # BB#0:
     11 ; SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [613566757,613566757,613566757,613566757]
     12 ; SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
     13 ; SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
     14 ; SSE41-NEXT:    pmuludq %xmm2, %xmm3
     15 ; SSE41-NEXT:    pmuludq %xmm0, %xmm1
     16 ; SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
     17 ; SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
     18 ; SSE41-NEXT:    psubd %xmm1, %xmm0
     19 ; SSE41-NEXT:    psrld $1, %xmm0
     20 ; SSE41-NEXT:    paddd %xmm1, %xmm0
     21 ; SSE41-NEXT:    psrld $2, %xmm0
     22 ; SSE41-NEXT:    retq
     23 ;
     24 ; SSE-LABEL: test1:
     25 ; SSE:       # BB#0:
     26 ; SSE-NEXT:    movdqa {{.*#+}} xmm1 = [613566757,613566757,613566757,613566757]
     27 ; SSE-NEXT:    movdqa %xmm0, %xmm2
     28 ; SSE-NEXT:    pmuludq %xmm1, %xmm2
     29 ; SSE-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,3,2,3]
     30 ; SSE-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
     31 ; SSE-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
     32 ; SSE-NEXT:    pmuludq %xmm1, %xmm3
     33 ; SSE-NEXT:    pshufd {{.*#+}} xmm1 = xmm3[1,3,2,3]
     34 ; SSE-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1]
     35 ; SSE-NEXT:    psubd %xmm2, %xmm0
     36 ; SSE-NEXT:    psrld $1, %xmm0
     37 ; SSE-NEXT:    paddd %xmm2, %xmm0
     38 ; SSE-NEXT:    psrld $2, %xmm0
     39 ; SSE-NEXT:    retq
     40 ;
     41 ; AVX-LABEL: test1:
     42 ; AVX:       # BB#0:
     43 ; AVX-NEXT:    vpbroadcastd {{.*}}(%rip), %xmm1
     44 ; AVX-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
     45 ; AVX-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
     46 ; AVX-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
     47 ; AVX-NEXT:    vpmuludq %xmm1, %xmm0, %xmm1
     48 ; AVX-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
     49 ; AVX-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
     50 ; AVX-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
     51 ; AVX-NEXT:    vpsrld $1, %xmm0, %xmm0
     52 ; AVX-NEXT:    vpaddd %xmm1, %xmm0, %xmm0
     53 ; AVX-NEXT:    vpsrld $2, %xmm0, %xmm0
     54 ; AVX-NEXT:    retq
     55   %div = udiv <4 x i32> %a, <i32 7, i32 7, i32 7, i32 7>
     56   ret <4 x i32> %div
     57 }
     58 
     59 define <8 x i32> @test2(<8 x i32> %a) #0 {
     60 ; SSE41-LABEL: test2:
     61 ; SSE41:       # BB#0:
     62 ; SSE41-NEXT:    movdqa {{.*#+}} xmm2 = [613566757,613566757,613566757,613566757]
     63 ; SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm2[1,1,3,3]
     64 ; SSE41-NEXT:    pshufd {{.*#+}} xmm4 = xmm0[1,1,3,3]
     65 ; SSE41-NEXT:    pmuludq %xmm3, %xmm4
     66 ; SSE41-NEXT:    movdqa %xmm0, %xmm5
     67 ; SSE41-NEXT:    pmuludq %xmm2, %xmm5
     68 ; SSE41-NEXT:    pshufd {{.*#+}} xmm5 = xmm5[1,1,3,3]
     69 ; SSE41-NEXT:    pblendw {{.*#+}} xmm5 = xmm5[0,1],xmm4[2,3],xmm5[4,5],xmm4[6,7]
     70 ; SSE41-NEXT:    psubd %xmm5, %xmm0
     71 ; SSE41-NEXT:    psrld $1, %xmm0
     72 ; SSE41-NEXT:    paddd %xmm5, %xmm0
     73 ; SSE41-NEXT:    psrld $2, %xmm0
     74 ; SSE41-NEXT:    pshufd {{.*#+}} xmm4 = xmm1[1,1,3,3]
     75 ; SSE41-NEXT:    pmuludq %xmm3, %xmm4
     76 ; SSE41-NEXT:    pmuludq %xmm1, %xmm2
     77 ; SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
     78 ; SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1],xmm4[2,3],xmm2[4,5],xmm4[6,7]
     79 ; SSE41-NEXT:    psubd %xmm2, %xmm1
     80 ; SSE41-NEXT:    psrld $1, %xmm1
     81 ; SSE41-NEXT:    paddd %xmm2, %xmm1
     82 ; SSE41-NEXT:    psrld $2, %xmm1
     83 ; SSE41-NEXT:    retq
     84 ;
     85 ; SSE-LABEL: test2:
     86 ; SSE:       # BB#0:
     87 ; SSE-NEXT:    movdqa {{.*#+}} xmm2 = [613566757,613566757,613566757,613566757]
     88 ; SSE-NEXT:    movdqa %xmm0, %xmm3
     89 ; SSE-NEXT:    pmuludq %xmm2, %xmm3
     90 ; SSE-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[1,3,2,3]
     91 ; SSE-NEXT:    pshufd {{.*#+}} xmm4 = xmm2[1,1,3,3]
     92 ; SSE-NEXT:    pshufd {{.*#+}} xmm5 = xmm0[1,1,3,3]
     93 ; SSE-NEXT:    pmuludq %xmm4, %xmm5
     94 ; SSE-NEXT:    pshufd {{.*#+}} xmm5 = xmm5[1,3,2,3]
     95 ; SSE-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm5[0],xmm3[1],xmm5[1]
     96 ; SSE-NEXT:    psubd %xmm3, %xmm0
     97 ; SSE-NEXT:    psrld $1, %xmm0
     98 ; SSE-NEXT:    paddd %xmm3, %xmm0
     99 ; SSE-NEXT:    psrld $2, %xmm0
    100 ; SSE-NEXT:    pmuludq %xmm1, %xmm2
    101 ; SSE-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,3,2,3]
    102 ; SSE-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[1,1,3,3]
    103 ; SSE-NEXT:    pmuludq %xmm4, %xmm3
    104 ; SSE-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[1,3,2,3]
    105 ; SSE-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm3[0],xmm2[1],xmm3[1]
    106 ; SSE-NEXT:    psubd %xmm2, %xmm1
    107 ; SSE-NEXT:    psrld $1, %xmm1
    108 ; SSE-NEXT:    paddd %xmm2, %xmm1
    109 ; SSE-NEXT:    psrld $2, %xmm1
    110 ; SSE-NEXT:    retq
    111 ;
    112 ; AVX-LABEL: test2:
    113 ; AVX:       # BB#0:
    114 ; AVX-NEXT:    vpbroadcastd {{.*}}(%rip), %ymm1
    115 ; AVX-NEXT:    vpshufd {{.*#+}} ymm2 = ymm1[1,1,3,3,5,5,7,7]
    116 ; AVX-NEXT:    vpshufd {{.*#+}} ymm3 = ymm0[1,1,3,3,5,5,7,7]
    117 ; AVX-NEXT:    vpmuludq %ymm2, %ymm3, %ymm2
    118 ; AVX-NEXT:    vpmuludq %ymm1, %ymm0, %ymm1
    119 ; AVX-NEXT:    vpshufd {{.*#+}} ymm1 = ymm1[1,1,3,3,5,5,7,7]
    120 ; AVX-NEXT:    vpblendd {{.*#+}} ymm1 = ymm1[0],ymm2[1],ymm1[2],ymm2[3],ymm1[4],ymm2[5],ymm1[6],ymm2[7]
    121 ; AVX-NEXT:    vpsubd %ymm1, %ymm0, %ymm0
    122 ; AVX-NEXT:    vpsrld $1, %ymm0, %ymm0
    123 ; AVX-NEXT:    vpaddd %ymm1, %ymm0, %ymm0
    124 ; AVX-NEXT:    vpsrld $2, %ymm0, %ymm0
    125 ; AVX-NEXT:    retq
    126   %div = udiv <8 x i32> %a, <i32 7, i32 7, i32 7, i32 7,i32 7, i32 7, i32 7, i32 7>
    127   ret <8 x i32> %div
    128 }
    129 
    130 define <8 x i16> @test3(<8 x i16> %a) #0 {
    131 ; SSE41-LABEL: test3:
    132 ; SSE41:       # BB#0:
    133 ; SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [9363,9363,9363,9363,9363,9363,9363,9363]
    134 ; SSE41-NEXT:    pmulhuw %xmm0, %xmm1
    135 ; SSE41-NEXT:    psubw %xmm1, %xmm0
    136 ; SSE41-NEXT:    psrlw $1, %xmm0
    137 ; SSE41-NEXT:    paddw %xmm1, %xmm0
    138 ; SSE41-NEXT:    psrlw $2, %xmm0
    139 ; SSE41-NEXT:    retq
    140 ;
    141 ; SSE-LABEL: test3:
    142 ; SSE:       # BB#0:
    143 ; SSE-NEXT:    movdqa {{.*#+}} xmm1 = [9363,9363,9363,9363,9363,9363,9363,9363]
    144 ; SSE-NEXT:    pmulhuw %xmm0, %xmm1
    145 ; SSE-NEXT:    psubw %xmm1, %xmm0
    146 ; SSE-NEXT:    psrlw $1, %xmm0
    147 ; SSE-NEXT:    paddw %xmm1, %xmm0
    148 ; SSE-NEXT:    psrlw $2, %xmm0
    149 ; SSE-NEXT:    retq
    150 ;
    151 ; AVX-LABEL: test3:
    152 ; AVX:       # BB#0:
    153 ; AVX-NEXT:    vpmulhuw {{.*}}(%rip), %xmm0, %xmm1
    154 ; AVX-NEXT:    vpsubw %xmm1, %xmm0, %xmm0
    155 ; AVX-NEXT:    vpsrlw $1, %xmm0, %xmm0
    156 ; AVX-NEXT:    vpaddw %xmm1, %xmm0, %xmm0
    157 ; AVX-NEXT:    vpsrlw $2, %xmm0, %xmm0
    158 ; AVX-NEXT:    retq
    159   %div = udiv <8 x i16> %a, <i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7>
    160   ret <8 x i16> %div
    161 }
    162 
    163 define <16 x i16> @test4(<16 x i16> %a) #0 {
    164 ; SSE41-LABEL: test4:
    165 ; SSE41:       # BB#0:
    166 ; SSE41-NEXT:    movdqa {{.*#+}} xmm2 = [9363,9363,9363,9363,9363,9363,9363,9363]
    167 ; SSE41-NEXT:    movdqa %xmm0, %xmm3
    168 ; SSE41-NEXT:    pmulhuw %xmm2, %xmm3
    169 ; SSE41-NEXT:    psubw %xmm3, %xmm0
    170 ; SSE41-NEXT:    psrlw $1, %xmm0
    171 ; SSE41-NEXT:    paddw %xmm3, %xmm0
    172 ; SSE41-NEXT:    psrlw $2, %xmm0
    173 ; SSE41-NEXT:    pmulhuw %xmm1, %xmm2
    174 ; SSE41-NEXT:    psubw %xmm2, %xmm1
    175 ; SSE41-NEXT:    psrlw $1, %xmm1
    176 ; SSE41-NEXT:    paddw %xmm2, %xmm1
    177 ; SSE41-NEXT:    psrlw $2, %xmm1
    178 ; SSE41-NEXT:    retq
    179 ;
    180 ; SSE-LABEL: test4:
    181 ; SSE:       # BB#0:
    182 ; SSE-NEXT:    movdqa {{.*#+}} xmm2 = [9363,9363,9363,9363,9363,9363,9363,9363]
    183 ; SSE-NEXT:    movdqa %xmm0, %xmm3
    184 ; SSE-NEXT:    pmulhuw %xmm2, %xmm3
    185 ; SSE-NEXT:    psubw %xmm3, %xmm0
    186 ; SSE-NEXT:    psrlw $1, %xmm0
    187 ; SSE-NEXT:    paddw %xmm3, %xmm0
    188 ; SSE-NEXT:    psrlw $2, %xmm0
    189 ; SSE-NEXT:    pmulhuw %xmm1, %xmm2
    190 ; SSE-NEXT:    psubw %xmm2, %xmm1
    191 ; SSE-NEXT:    psrlw $1, %xmm1
    192 ; SSE-NEXT:    paddw %xmm2, %xmm1
    193 ; SSE-NEXT:    psrlw $2, %xmm1
    194 ; SSE-NEXT:    retq
    195 ;
    196 ; AVX-LABEL: test4:
    197 ; AVX:       # BB#0:
    198 ; AVX-NEXT:    vpmulhuw {{.*}}(%rip), %ymm0, %ymm1
    199 ; AVX-NEXT:    vpsubw %ymm1, %ymm0, %ymm0
    200 ; AVX-NEXT:    vpsrlw $1, %ymm0, %ymm0
    201 ; AVX-NEXT:    vpaddw %ymm1, %ymm0, %ymm0
    202 ; AVX-NEXT:    vpsrlw $2, %ymm0, %ymm0
    203 ; AVX-NEXT:    retq
    204   %div = udiv <16 x i16> %a, <i16 7, i16 7, i16 7, i16 7,i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7,i16 7, i16 7, i16 7, i16 7>
    205   ret <16 x i16> %div
    206 }
    207 
    208 define <8 x i16> @test5(<8 x i16> %a) #0 {
    209 ; SSE41-LABEL: test5:
    210 ; SSE41:       # BB#0:
    211 ; SSE41-NEXT:    pmulhw {{.*}}(%rip), %xmm0
    212 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
    213 ; SSE41-NEXT:    psrlw $15, %xmm1
    214 ; SSE41-NEXT:    psraw $1, %xmm0
    215 ; SSE41-NEXT:    paddw %xmm1, %xmm0
    216 ; SSE41-NEXT:    retq
    217 ;
    218 ; SSE-LABEL: test5:
    219 ; SSE:       # BB#0:
    220 ; SSE-NEXT:    pmulhw {{.*}}(%rip), %xmm0
    221 ; SSE-NEXT:    movdqa %xmm0, %xmm1
    222 ; SSE-NEXT:    psrlw $15, %xmm1
    223 ; SSE-NEXT:    psraw $1, %xmm0
    224 ; SSE-NEXT:    paddw %xmm1, %xmm0
    225 ; SSE-NEXT:    retq
    226 ;
    227 ; AVX-LABEL: test5:
    228 ; AVX:       # BB#0:
    229 ; AVX-NEXT:    vpmulhw {{.*}}(%rip), %xmm0, %xmm0
    230 ; AVX-NEXT:    vpsrlw $15, %xmm0, %xmm1
    231 ; AVX-NEXT:    vpsraw $1, %xmm0, %xmm0
    232 ; AVX-NEXT:    vpaddw %xmm1, %xmm0, %xmm0
    233 ; AVX-NEXT:    retq
    234   %div = sdiv <8 x i16> %a, <i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7>
    235   ret <8 x i16> %div
    236 }
    237 
    238 define <16 x i16> @test6(<16 x i16> %a) #0 {
    239 ; SSE41-LABEL: test6:
    240 ; SSE41:       # BB#0:
    241 ; SSE41-NEXT:    movdqa {{.*#+}} xmm2 = [18725,18725,18725,18725,18725,18725,18725,18725]
    242 ; SSE41-NEXT:    pmulhw %xmm2, %xmm0
    243 ; SSE41-NEXT:    movdqa %xmm0, %xmm3
    244 ; SSE41-NEXT:    psrlw $15, %xmm3
    245 ; SSE41-NEXT:    psraw $1, %xmm0
    246 ; SSE41-NEXT:    paddw %xmm3, %xmm0
    247 ; SSE41-NEXT:    pmulhw %xmm2, %xmm1
    248 ; SSE41-NEXT:    movdqa %xmm1, %xmm2
    249 ; SSE41-NEXT:    psrlw $15, %xmm2
    250 ; SSE41-NEXT:    psraw $1, %xmm1
    251 ; SSE41-NEXT:    paddw %xmm2, %xmm1
    252 ; SSE41-NEXT:    retq
    253 ;
    254 ; SSE-LABEL: test6:
    255 ; SSE:       # BB#0:
    256 ; SSE-NEXT:    movdqa {{.*#+}} xmm2 = [18725,18725,18725,18725,18725,18725,18725,18725]
    257 ; SSE-NEXT:    pmulhw %xmm2, %xmm0
    258 ; SSE-NEXT:    movdqa %xmm0, %xmm3
    259 ; SSE-NEXT:    psrlw $15, %xmm3
    260 ; SSE-NEXT:    psraw $1, %xmm0
    261 ; SSE-NEXT:    paddw %xmm3, %xmm0
    262 ; SSE-NEXT:    pmulhw %xmm2, %xmm1
    263 ; SSE-NEXT:    movdqa %xmm1, %xmm2
    264 ; SSE-NEXT:    psrlw $15, %xmm2
    265 ; SSE-NEXT:    psraw $1, %xmm1
    266 ; SSE-NEXT:    paddw %xmm2, %xmm1
    267 ; SSE-NEXT:    retq
    268 ;
    269 ; AVX-LABEL: test6:
    270 ; AVX:       # BB#0:
    271 ; AVX-NEXT:    vpmulhw {{.*}}(%rip), %ymm0, %ymm0
    272 ; AVX-NEXT:    vpsrlw $15, %ymm0, %ymm1
    273 ; AVX-NEXT:    vpsraw $1, %ymm0, %ymm0
    274 ; AVX-NEXT:    vpaddw %ymm1, %ymm0, %ymm0
    275 ; AVX-NEXT:    retq
    276   %div = sdiv <16 x i16> %a, <i16 7, i16 7, i16 7, i16 7,i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7,i16 7, i16 7, i16 7, i16 7>
    277   ret <16 x i16> %div
    278 }
    279 
    280 define <16 x i8> @test7(<16 x i8> %a) #0 {
    281 ; SSE41-LABEL: test7:
    282 ; SSE41:       # BB#0:
    283 ; SSE41-NEXT:    pextrb $1, %xmm0, %eax
    284 ; SSE41-NEXT:    movsbl %al, %eax
    285 ; SSE41-NEXT:    imull $-109, %eax, %ecx
    286 ; SSE41-NEXT:    shrl $8, %ecx
    287 ; SSE41-NEXT:    addb %cl, %al
    288 ; SSE41-NEXT:    movb %al, %cl
    289 ; SSE41-NEXT:    shrb $7, %cl
    290 ; SSE41-NEXT:    sarb $2, %al
    291 ; SSE41-NEXT:    addb %cl, %al
    292 ; SSE41-NEXT:    movzbl %al, %eax
    293 ; SSE41-NEXT:    pextrb $0, %xmm0, %ecx
    294 ; SSE41-NEXT:    movsbl %cl, %ecx
    295 ; SSE41-NEXT:    imull $-109, %ecx, %edx
    296 ; SSE41-NEXT:    shrl $8, %edx
    297 ; SSE41-NEXT:    addb %dl, %cl
    298 ; SSE41-NEXT:    movb %cl, %dl
    299 ; SSE41-NEXT:    shrb $7, %dl
    300 ; SSE41-NEXT:    sarb $2, %cl
    301 ; SSE41-NEXT:    addb %dl, %cl
    302 ; SSE41-NEXT:    movzbl %cl, %ecx
    303 ; SSE41-NEXT:    movd %ecx, %xmm1
    304 ; SSE41-NEXT:    pinsrb $1, %eax, %xmm1
    305 ; SSE41-NEXT:    pextrb $2, %xmm0, %eax
    306 ; SSE41-NEXT:    movsbl %al, %eax
    307 ; SSE41-NEXT:    imull $-109, %eax, %ecx
    308 ; SSE41-NEXT:    shrl $8, %ecx
    309 ; SSE41-NEXT:    addb %cl, %al
    310 ; SSE41-NEXT:    movb %al, %cl
    311 ; SSE41-NEXT:    shrb $7, %cl
    312 ; SSE41-NEXT:    sarb $2, %al
    313 ; SSE41-NEXT:    addb %cl, %al
    314 ; SSE41-NEXT:    movzbl %al, %eax
    315 ; SSE41-NEXT:    pinsrb $2, %eax, %xmm1
    316 ; SSE41-NEXT:    pextrb $3, %xmm0, %eax
    317 ; SSE41-NEXT:    movsbl %al, %eax
    318 ; SSE41-NEXT:    imull $-109, %eax, %ecx
    319 ; SSE41-NEXT:    shrl $8, %ecx
    320 ; SSE41-NEXT:    addb %cl, %al
    321 ; SSE41-NEXT:    movb %al, %cl
    322 ; SSE41-NEXT:    shrb $7, %cl
    323 ; SSE41-NEXT:    sarb $2, %al
    324 ; SSE41-NEXT:    addb %cl, %al
    325 ; SSE41-NEXT:    movzbl %al, %eax
    326 ; SSE41-NEXT:    pinsrb $3, %eax, %xmm1
    327 ; SSE41-NEXT:    pextrb $4, %xmm0, %eax
    328 ; SSE41-NEXT:    movsbl %al, %eax
    329 ; SSE41-NEXT:    imull $-109, %eax, %ecx
    330 ; SSE41-NEXT:    shrl $8, %ecx
    331 ; SSE41-NEXT:    addb %cl, %al
    332 ; SSE41-NEXT:    movb %al, %cl
    333 ; SSE41-NEXT:    shrb $7, %cl
    334 ; SSE41-NEXT:    sarb $2, %al
    335 ; SSE41-NEXT:    addb %cl, %al
    336 ; SSE41-NEXT:    movzbl %al, %eax
    337 ; SSE41-NEXT:    pinsrb $4, %eax, %xmm1
    338 ; SSE41-NEXT:    pextrb $5, %xmm0, %eax
    339 ; SSE41-NEXT:    movsbl %al, %eax
    340 ; SSE41-NEXT:    imull $-109, %eax, %ecx
    341 ; SSE41-NEXT:    shrl $8, %ecx
    342 ; SSE41-NEXT:    addb %cl, %al
    343 ; SSE41-NEXT:    movb %al, %cl
    344 ; SSE41-NEXT:    shrb $7, %cl
    345 ; SSE41-NEXT:    sarb $2, %al
    346 ; SSE41-NEXT:    addb %cl, %al
    347 ; SSE41-NEXT:    movzbl %al, %eax
    348 ; SSE41-NEXT:    pinsrb $5, %eax, %xmm1
    349 ; SSE41-NEXT:    pextrb $6, %xmm0, %eax
    350 ; SSE41-NEXT:    movsbl %al, %eax
    351 ; SSE41-NEXT:    imull $-109, %eax, %ecx
    352 ; SSE41-NEXT:    shrl $8, %ecx
    353 ; SSE41-NEXT:    addb %cl, %al
    354 ; SSE41-NEXT:    movb %al, %cl
    355 ; SSE41-NEXT:    shrb $7, %cl
    356 ; SSE41-NEXT:    sarb $2, %al
    357 ; SSE41-NEXT:    addb %cl, %al
    358 ; SSE41-NEXT:    movzbl %al, %eax
    359 ; SSE41-NEXT:    pinsrb $6, %eax, %xmm1
    360 ; SSE41-NEXT:    pextrb $7, %xmm0, %eax
    361 ; SSE41-NEXT:    movsbl %al, %eax
    362 ; SSE41-NEXT:    imull $-109, %eax, %ecx
    363 ; SSE41-NEXT:    shrl $8, %ecx
    364 ; SSE41-NEXT:    addb %cl, %al
    365 ; SSE41-NEXT:    movb %al, %cl
    366 ; SSE41-NEXT:    shrb $7, %cl
    367 ; SSE41-NEXT:    sarb $2, %al
    368 ; SSE41-NEXT:    addb %cl, %al
    369 ; SSE41-NEXT:    movzbl %al, %eax
    370 ; SSE41-NEXT:    pinsrb $7, %eax, %xmm1
    371 ; SSE41-NEXT:    pextrb $8, %xmm0, %eax
    372 ; SSE41-NEXT:    movsbl %al, %eax
    373 ; SSE41-NEXT:    imull $-109, %eax, %ecx
    374 ; SSE41-NEXT:    shrl $8, %ecx
    375 ; SSE41-NEXT:    addb %cl, %al
    376 ; SSE41-NEXT:    movb %al, %cl
    377 ; SSE41-NEXT:    shrb $7, %cl
    378 ; SSE41-NEXT:    sarb $2, %al
    379 ; SSE41-NEXT:    addb %cl, %al
    380 ; SSE41-NEXT:    movzbl %al, %eax
    381 ; SSE41-NEXT:    pinsrb $8, %eax, %xmm1
    382 ; SSE41-NEXT:    pextrb $9, %xmm0, %eax
    383 ; SSE41-NEXT:    movsbl %al, %eax
    384 ; SSE41-NEXT:    imull $-109, %eax, %ecx
    385 ; SSE41-NEXT:    shrl $8, %ecx
    386 ; SSE41-NEXT:    addb %cl, %al
    387 ; SSE41-NEXT:    movb %al, %cl
    388 ; SSE41-NEXT:    shrb $7, %cl
    389 ; SSE41-NEXT:    sarb $2, %al
    390 ; SSE41-NEXT:    addb %cl, %al
    391 ; SSE41-NEXT:    movzbl %al, %eax
    392 ; SSE41-NEXT:    pinsrb $9, %eax, %xmm1
    393 ; SSE41-NEXT:    pextrb $10, %xmm0, %eax
    394 ; SSE41-NEXT:    movsbl %al, %eax
    395 ; SSE41-NEXT:    imull $-109, %eax, %ecx
    396 ; SSE41-NEXT:    shrl $8, %ecx
    397 ; SSE41-NEXT:    addb %cl, %al
    398 ; SSE41-NEXT:    movb %al, %cl
    399 ; SSE41-NEXT:    shrb $7, %cl
    400 ; SSE41-NEXT:    sarb $2, %al
    401 ; SSE41-NEXT:    addb %cl, %al
    402 ; SSE41-NEXT:    movzbl %al, %eax
    403 ; SSE41-NEXT:    pinsrb $10, %eax, %xmm1
    404 ; SSE41-NEXT:    pextrb $11, %xmm0, %eax
    405 ; SSE41-NEXT:    movsbl %al, %eax
    406 ; SSE41-NEXT:    imull $-109, %eax, %ecx
    407 ; SSE41-NEXT:    shrl $8, %ecx
    408 ; SSE41-NEXT:    addb %cl, %al
    409 ; SSE41-NEXT:    movb %al, %cl
    410 ; SSE41-NEXT:    shrb $7, %cl
    411 ; SSE41-NEXT:    sarb $2, %al
    412 ; SSE41-NEXT:    addb %cl, %al
    413 ; SSE41-NEXT:    movzbl %al, %eax
    414 ; SSE41-NEXT:    pinsrb $11, %eax, %xmm1
    415 ; SSE41-NEXT:    pextrb $12, %xmm0, %eax
    416 ; SSE41-NEXT:    movsbl %al, %eax
    417 ; SSE41-NEXT:    imull $-109, %eax, %ecx
    418 ; SSE41-NEXT:    shrl $8, %ecx
    419 ; SSE41-NEXT:    addb %cl, %al
    420 ; SSE41-NEXT:    movb %al, %cl
    421 ; SSE41-NEXT:    shrb $7, %cl
    422 ; SSE41-NEXT:    sarb $2, %al
    423 ; SSE41-NEXT:    addb %cl, %al
    424 ; SSE41-NEXT:    movzbl %al, %eax
    425 ; SSE41-NEXT:    pinsrb $12, %eax, %xmm1
    426 ; SSE41-NEXT:    pextrb $13, %xmm0, %eax
    427 ; SSE41-NEXT:    movsbl %al, %eax
    428 ; SSE41-NEXT:    imull $-109, %eax, %ecx
    429 ; SSE41-NEXT:    shrl $8, %ecx
    430 ; SSE41-NEXT:    addb %cl, %al
    431 ; SSE41-NEXT:    movb %al, %cl
    432 ; SSE41-NEXT:    shrb $7, %cl
    433 ; SSE41-NEXT:    sarb $2, %al
    434 ; SSE41-NEXT:    addb %cl, %al
    435 ; SSE41-NEXT:    movzbl %al, %eax
    436 ; SSE41-NEXT:    pinsrb $13, %eax, %xmm1
    437 ; SSE41-NEXT:    pextrb $14, %xmm0, %eax
    438 ; SSE41-NEXT:    movsbl %al, %eax
    439 ; SSE41-NEXT:    imull $-109, %eax, %ecx
    440 ; SSE41-NEXT:    shrl $8, %ecx
    441 ; SSE41-NEXT:    addb %cl, %al
    442 ; SSE41-NEXT:    movb %al, %cl
    443 ; SSE41-NEXT:    shrb $7, %cl
    444 ; SSE41-NEXT:    sarb $2, %al
    445 ; SSE41-NEXT:    addb %cl, %al
    446 ; SSE41-NEXT:    movzbl %al, %eax
    447 ; SSE41-NEXT:    pinsrb $14, %eax, %xmm1
    448 ; SSE41-NEXT:    pextrb $15, %xmm0, %eax
    449 ; SSE41-NEXT:    movsbl %al, %eax
    450 ; SSE41-NEXT:    imull $-109, %eax, %ecx
    451 ; SSE41-NEXT:    shrl $8, %ecx
    452 ; SSE41-NEXT:    addb %cl, %al
    453 ; SSE41-NEXT:    movb %al, %cl
    454 ; SSE41-NEXT:    shrb $7, %cl
    455 ; SSE41-NEXT:    sarb $2, %al
    456 ; SSE41-NEXT:    addb %cl, %al
    457 ; SSE41-NEXT:    movzbl %al, %eax
    458 ; SSE41-NEXT:    pinsrb $15, %eax, %xmm1
    459 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
    460 ; SSE41-NEXT:    retq
    461 ;
    462 ; SSE-LABEL: test7:
    463 ; SSE:       # BB#0:
    464 ; SSE-NEXT:    pushq %rbp
    465 ; SSE-NEXT:    pushq %r14
    466 ; SSE-NEXT:    pushq %rbx
    467 ; SSE-NEXT:    movaps %xmm0, -{{[0-9]+}}(%rsp)
    468 ; SSE-NEXT:    movsbl -{{[0-9]+}}(%rsp), %eax
    469 ; SSE-NEXT:    imull $-109, %eax, %ecx
    470 ; SSE-NEXT:    shrl $8, %ecx
    471 ; SSE-NEXT:    addb %al, %cl
    472 ; SSE-NEXT:    movb %cl, %al
    473 ; SSE-NEXT:    shrb $7, %al
    474 ; SSE-NEXT:    sarb $2, %cl
    475 ; SSE-NEXT:    addb %al, %cl
    476 ; SSE-NEXT:    movzbl %cl, %eax
    477 ; SSE-NEXT:    movd %eax, %xmm0
    478 ; SSE-NEXT:    movsbl -{{[0-9]+}}(%rsp), %r14d
    479 ; SSE-NEXT:    movsbl -{{[0-9]+}}(%rsp), %edx
    480 ; SSE-NEXT:    movsbl -{{[0-9]+}}(%rsp), %r9d
    481 ; SSE-NEXT:    movsbl -{{[0-9]+}}(%rsp), %eax
    482 ; SSE-NEXT:    movsbl -{{[0-9]+}}(%rsp), %r11d
    483 ; SSE-NEXT:    movsbl -{{[0-9]+}}(%rsp), %ecx
    484 ; SSE-NEXT:    movsbl -{{[0-9]+}}(%rsp), %r8d
    485 ; SSE-NEXT:    movsbl -{{[0-9]+}}(%rsp), %esi
    486 ; SSE-NEXT:    imull $-109, %esi, %edi
    487 ; SSE-NEXT:    shrl $8, %edi
    488 ; SSE-NEXT:    addb %sil, %dil
    489 ; SSE-NEXT:    movb %dil, %bl
    490 ; SSE-NEXT:    shrb $7, %bl
    491 ; SSE-NEXT:    sarb $2, %dil
    492 ; SSE-NEXT:    addb %bl, %dil
    493 ; SSE-NEXT:    movzbl %dil, %esi
    494 ; SSE-NEXT:    movd %esi, %xmm1
    495 ; SSE-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[1],xmm1[2],xmm0[2],xmm1[3],xmm0[3],xmm1[4],xmm0[4],xmm1[5],xmm0[5],xmm1[6],xmm0[6],xmm1[7],xmm0[7]
    496 ; SSE-NEXT:    imull $-109, %eax, %esi
    497 ; SSE-NEXT:    shrl $8, %esi
    498 ; SSE-NEXT:    addb %al, %sil
    499 ; SSE-NEXT:    movb %sil, %al
    500 ; SSE-NEXT:    shrb $7, %al
    501 ; SSE-NEXT:    sarb $2, %sil
    502 ; SSE-NEXT:    addb %al, %sil
    503 ; SSE-NEXT:    movzbl %sil, %eax
    504 ; SSE-NEXT:    movd %eax, %xmm2
    505 ; SSE-NEXT:    movsbl -{{[0-9]+}}(%rsp), %ebp
    506 ; SSE-NEXT:    movsbl -{{[0-9]+}}(%rsp), %esi
    507 ; SSE-NEXT:    movsbl -{{[0-9]+}}(%rsp), %r10d
    508 ; SSE-NEXT:    movsbl -{{[0-9]+}}(%rsp), %edi
    509 ; SSE-NEXT:    imull $-109, %edi, %ebx
    510 ; SSE-NEXT:    shrl $8, %ebx
    511 ; SSE-NEXT:    addb %dil, %bl
    512 ; SSE-NEXT:    movb %bl, %al
    513 ; SSE-NEXT:    shrb $7, %al
    514 ; SSE-NEXT:    sarb $2, %bl
    515 ; SSE-NEXT:    addb %al, %bl
    516 ; SSE-NEXT:    movzbl %bl, %eax
    517 ; SSE-NEXT:    movd %eax, %xmm0
    518 ; SSE-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1],xmm0[2],xmm2[2],xmm0[3],xmm2[3],xmm0[4],xmm2[4],xmm0[5],xmm2[5],xmm0[6],xmm2[6],xmm0[7],xmm2[7]
    519 ; SSE-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
    520 ; SSE-NEXT:    imull $-109, %edx, %eax
    521 ; SSE-NEXT:    shrl $8, %eax
    522 ; SSE-NEXT:    addb %dl, %al
    523 ; SSE-NEXT:    movb %al, %dl
    524 ; SSE-NEXT:    shrb $7, %dl
    525 ; SSE-NEXT:    sarb $2, %al
    526 ; SSE-NEXT:    addb %dl, %al
    527 ; SSE-NEXT:    movzbl %al, %eax
    528 ; SSE-NEXT:    movd %eax, %xmm1
    529 ; SSE-NEXT:    imull $-109, %esi, %eax
    530 ; SSE-NEXT:    shrl $8, %eax
    531 ; SSE-NEXT:    addb %sil, %al
    532 ; SSE-NEXT:    movb %al, %dl
    533 ; SSE-NEXT:    shrb $7, %dl
    534 ; SSE-NEXT:    sarb $2, %al
    535 ; SSE-NEXT:    addb %dl, %al
    536 ; SSE-NEXT:    movzbl %al, %eax
    537 ; SSE-NEXT:    movd %eax, %xmm2
    538 ; SSE-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1],xmm2[2],xmm1[2],xmm2[3],xmm1[3],xmm2[4],xmm1[4],xmm2[5],xmm1[5],xmm2[6],xmm1[6],xmm2[7],xmm1[7]
    539 ; SSE-NEXT:    imull $-109, %ecx, %eax
    540 ; SSE-NEXT:    shrl $8, %eax
    541 ; SSE-NEXT:    addb %cl, %al
    542 ; SSE-NEXT:    movb %al, %cl
    543 ; SSE-NEXT:    shrb $7, %cl
    544 ; SSE-NEXT:    sarb $2, %al
    545 ; SSE-NEXT:    addb %cl, %al
    546 ; SSE-NEXT:    movzbl %al, %eax
    547 ; SSE-NEXT:    movd %eax, %xmm3
    548 ; SSE-NEXT:    movsbl -{{[0-9]+}}(%rsp), %ecx
    549 ; SSE-NEXT:    movsbl -{{[0-9]+}}(%rsp), %eax
    550 ; SSE-NEXT:    imull $-109, %eax, %edx
    551 ; SSE-NEXT:    shrl $8, %edx
    552 ; SSE-NEXT:    addb %al, %dl
    553 ; SSE-NEXT:    movb %dl, %al
    554 ; SSE-NEXT:    shrb $7, %al
    555 ; SSE-NEXT:    sarb $2, %dl
    556 ; SSE-NEXT:    addb %al, %dl
    557 ; SSE-NEXT:    movzbl %dl, %eax
    558 ; SSE-NEXT:    movd %eax, %xmm1
    559 ; SSE-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1],xmm1[2],xmm3[2],xmm1[3],xmm3[3],xmm1[4],xmm3[4],xmm1[5],xmm3[5],xmm1[6],xmm3[6],xmm1[7],xmm3[7]
    560 ; SSE-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1],xmm1[2],xmm2[2],xmm1[3],xmm2[3],xmm1[4],xmm2[4],xmm1[5],xmm2[5],xmm1[6],xmm2[6],xmm1[7],xmm2[7]
    561 ; SSE-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[1],xmm1[2],xmm0[2],xmm1[3],xmm0[3],xmm1[4],xmm0[4],xmm1[5],xmm0[5],xmm1[6],xmm0[6],xmm1[7],xmm0[7]
    562 ; SSE-NEXT:    imull $-109, %r14d, %eax
    563 ; SSE-NEXT:    shrl $8, %eax
    564 ; SSE-NEXT:    addb %r14b, %al
    565 ; SSE-NEXT:    movb %al, %dl
    566 ; SSE-NEXT:    shrb $7, %dl
    567 ; SSE-NEXT:    sarb $2, %al
    568 ; SSE-NEXT:    addb %dl, %al
    569 ; SSE-NEXT:    movzbl %al, %eax
    570 ; SSE-NEXT:    movd %eax, %xmm2
    571 ; SSE-NEXT:    imull $-109, %ebp, %eax
    572 ; SSE-NEXT:    shrl $8, %eax
    573 ; SSE-NEXT:    addb %bpl, %al
    574 ; SSE-NEXT:    movb %al, %dl
    575 ; SSE-NEXT:    shrb $7, %dl
    576 ; SSE-NEXT:    sarb $2, %al
    577 ; SSE-NEXT:    addb %dl, %al
    578 ; SSE-NEXT:    movzbl %al, %eax
    579 ; SSE-NEXT:    movd %eax, %xmm0
    580 ; SSE-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1],xmm0[2],xmm2[2],xmm0[3],xmm2[3],xmm0[4],xmm2[4],xmm0[5],xmm2[5],xmm0[6],xmm2[6],xmm0[7],xmm2[7]
    581 ; SSE-NEXT:    imull $-109, %r11d, %eax
    582 ; SSE-NEXT:    shrl $8, %eax
    583 ; SSE-NEXT:    addb %r11b, %al
    584 ; SSE-NEXT:    movb %al, %dl
    585 ; SSE-NEXT:    shrb $7, %dl
    586 ; SSE-NEXT:    sarb $2, %al
    587 ; SSE-NEXT:    addb %dl, %al
    588 ; SSE-NEXT:    movzbl %al, %eax
    589 ; SSE-NEXT:    movd %eax, %xmm3
    590 ; SSE-NEXT:    imull $-109, %ecx, %eax
    591 ; SSE-NEXT:    shrl $8, %eax
    592 ; SSE-NEXT:    addb %cl, %al
    593 ; SSE-NEXT:    movb %al, %cl
    594 ; SSE-NEXT:    shrb $7, %cl
    595 ; SSE-NEXT:    sarb $2, %al
    596 ; SSE-NEXT:    addb %cl, %al
    597 ; SSE-NEXT:    movzbl %al, %eax
    598 ; SSE-NEXT:    movd %eax, %xmm2
    599 ; SSE-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm3[0],xmm2[1],xmm3[1],xmm2[2],xmm3[2],xmm2[3],xmm3[3],xmm2[4],xmm3[4],xmm2[5],xmm3[5],xmm2[6],xmm3[6],xmm2[7],xmm3[7]
    600 ; SSE-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[1],xmm2[2],xmm0[2],xmm2[3],xmm0[3],xmm2[4],xmm0[4],xmm2[5],xmm0[5],xmm2[6],xmm0[6],xmm2[7],xmm0[7]
    601 ; SSE-NEXT:    imull $-109, %r9d, %eax
    602 ; SSE-NEXT:    shrl $8, %eax
    603 ; SSE-NEXT:    addb %r9b, %al
    604 ; SSE-NEXT:    movb %al, %cl
    605 ; SSE-NEXT:    shrb $7, %cl
    606 ; SSE-NEXT:    sarb $2, %al
    607 ; SSE-NEXT:    addb %cl, %al
    608 ; SSE-NEXT:    movzbl %al, %eax
    609 ; SSE-NEXT:    movd %eax, %xmm0
    610 ; SSE-NEXT:    imull $-109, %r10d, %eax
    611 ; SSE-NEXT:    shrl $8, %eax
    612 ; SSE-NEXT:    addb %r10b, %al
    613 ; SSE-NEXT:    movb %al, %cl
    614 ; SSE-NEXT:    shrb $7, %cl
    615 ; SSE-NEXT:    sarb $2, %al
    616 ; SSE-NEXT:    addb %cl, %al
    617 ; SSE-NEXT:    movzbl %al, %eax
    618 ; SSE-NEXT:    movd %eax, %xmm3
    619 ; SSE-NEXT:    punpcklbw {{.*#+}} xmm3 = xmm3[0],xmm0[0],xmm3[1],xmm0[1],xmm3[2],xmm0[2],xmm3[3],xmm0[3],xmm3[4],xmm0[4],xmm3[5],xmm0[5],xmm3[6],xmm0[6],xmm3[7],xmm0[7]
    620 ; SSE-NEXT:    imull $-109, %r8d, %eax
    621 ; SSE-NEXT:    shrl $8, %eax
    622 ; SSE-NEXT:    addb %r8b, %al
    623 ; SSE-NEXT:    movb %al, %cl
    624 ; SSE-NEXT:    shrb $7, %cl
    625 ; SSE-NEXT:    sarb $2, %al
    626 ; SSE-NEXT:    addb %cl, %al
    627 ; SSE-NEXT:    movzbl %al, %eax
    628 ; SSE-NEXT:    movd %eax, %xmm4
    629 ; SSE-NEXT:    movsbl -{{[0-9]+}}(%rsp), %eax
    630 ; SSE-NEXT:    imull $-109, %eax, %ecx
    631 ; SSE-NEXT:    shrl $8, %ecx
    632 ; SSE-NEXT:    addb %al, %cl
    633 ; SSE-NEXT:    movb %cl, %al
    634 ; SSE-NEXT:    shrb $7, %al
    635 ; SSE-NEXT:    sarb $2, %cl
    636 ; SSE-NEXT:    addb %al, %cl
    637 ; SSE-NEXT:    movzbl %cl, %eax
    638 ; SSE-NEXT:    movd %eax, %xmm0
    639 ; SSE-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm4[0],xmm0[1],xmm4[1],xmm0[2],xmm4[2],xmm0[3],xmm4[3],xmm0[4],xmm4[4],xmm0[5],xmm4[5],xmm0[6],xmm4[6],xmm0[7],xmm4[7]
    640 ; SSE-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1],xmm0[2],xmm3[2],xmm0[3],xmm3[3],xmm0[4],xmm3[4],xmm0[5],xmm3[5],xmm0[6],xmm3[6],xmm0[7],xmm3[7]
    641 ; SSE-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1],xmm0[2],xmm2[2],xmm0[3],xmm2[3],xmm0[4],xmm2[4],xmm0[5],xmm2[5],xmm0[6],xmm2[6],xmm0[7],xmm2[7]
    642 ; SSE-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
    643 ; SSE-NEXT:    popq %rbx
    644 ; SSE-NEXT:    popq %r14
    645 ; SSE-NEXT:    popq %rbp
    646 ; SSE-NEXT:    retq
    647 ;
    648 ; AVX-LABEL: test7:
    649 ; AVX:       # BB#0:
    650 ; AVX-NEXT:    vpextrb $1, %xmm0, %eax
    651 ; AVX-NEXT:    movsbl %al, %eax
    652 ; AVX-NEXT:    imull $-109, %eax, %ecx
    653 ; AVX-NEXT:    shrl $8, %ecx
    654 ; AVX-NEXT:    addb %cl, %al
    655 ; AVX-NEXT:    movb %al, %cl
    656 ; AVX-NEXT:    shrb $7, %cl
    657 ; AVX-NEXT:    sarb $2, %al
    658 ; AVX-NEXT:    addb %cl, %al
    659 ; AVX-NEXT:    movzbl %al, %eax
    660 ; AVX-NEXT:    vpextrb $0, %xmm0, %ecx
    661 ; AVX-NEXT:    movsbl %cl, %ecx
    662 ; AVX-NEXT:    imull $-109, %ecx, %edx
    663 ; AVX-NEXT:    shrl $8, %edx
    664 ; AVX-NEXT:    addb %dl, %cl
    665 ; AVX-NEXT:    movb %cl, %dl
    666 ; AVX-NEXT:    shrb $7, %dl
    667 ; AVX-NEXT:    sarb $2, %cl
    668 ; AVX-NEXT:    addb %dl, %cl
    669 ; AVX-NEXT:    movzbl %cl, %ecx
    670 ; AVX-NEXT:    vmovd %ecx, %xmm1
    671 ; AVX-NEXT:    vpextrb $2, %xmm0, %ecx
    672 ; AVX-NEXT:    movsbl %cl, %ecx
    673 ; AVX-NEXT:    imull $-109, %ecx, %edx
    674 ; AVX-NEXT:    vpinsrb $1, %eax, %xmm1, %xmm1
    675 ; AVX-NEXT:    shrl $8, %edx
    676 ; AVX-NEXT:    addb %dl, %cl
    677 ; AVX-NEXT:    movb %cl, %al
    678 ; AVX-NEXT:    shrb $7, %al
    679 ; AVX-NEXT:    sarb $2, %cl
    680 ; AVX-NEXT:    addb %al, %cl
    681 ; AVX-NEXT:    movzbl %cl, %eax
    682 ; AVX-NEXT:    vpextrb $3, %xmm0, %ecx
    683 ; AVX-NEXT:    movsbl %cl, %ecx
    684 ; AVX-NEXT:    imull $-109, %ecx, %edx
    685 ; AVX-NEXT:    vpinsrb $2, %eax, %xmm1, %xmm1
    686 ; AVX-NEXT:    shrl $8, %edx
    687 ; AVX-NEXT:    addb %dl, %cl
    688 ; AVX-NEXT:    movb %cl, %al
    689 ; AVX-NEXT:    shrb $7, %al
    690 ; AVX-NEXT:    sarb $2, %cl
    691 ; AVX-NEXT:    addb %al, %cl
    692 ; AVX-NEXT:    movzbl %cl, %eax
    693 ; AVX-NEXT:    vpextrb $4, %xmm0, %ecx
    694 ; AVX-NEXT:    movsbl %cl, %ecx
    695 ; AVX-NEXT:    imull $-109, %ecx, %edx
    696 ; AVX-NEXT:    vpinsrb $3, %eax, %xmm1, %xmm1
    697 ; AVX-NEXT:    shrl $8, %edx
    698 ; AVX-NEXT:    addb %dl, %cl
    699 ; AVX-NEXT:    movb %cl, %al
    700 ; AVX-NEXT:    shrb $7, %al
    701 ; AVX-NEXT:    sarb $2, %cl
    702 ; AVX-NEXT:    addb %al, %cl
    703 ; AVX-NEXT:    movzbl %cl, %eax
    704 ; AVX-NEXT:    vpextrb $5, %xmm0, %ecx
    705 ; AVX-NEXT:    movsbl %cl, %ecx
    706 ; AVX-NEXT:    imull $-109, %ecx, %edx
    707 ; AVX-NEXT:    vpinsrb $4, %eax, %xmm1, %xmm1
    708 ; AVX-NEXT:    shrl $8, %edx
    709 ; AVX-NEXT:    addb %dl, %cl
    710 ; AVX-NEXT:    movb %cl, %al
    711 ; AVX-NEXT:    shrb $7, %al
    712 ; AVX-NEXT:    sarb $2, %cl
    713 ; AVX-NEXT:    addb %al, %cl
    714 ; AVX-NEXT:    movzbl %cl, %eax
    715 ; AVX-NEXT:    vpextrb $6, %xmm0, %ecx
    716 ; AVX-NEXT:    movsbl %cl, %ecx
    717 ; AVX-NEXT:    imull $-109, %ecx, %edx
    718 ; AVX-NEXT:    vpinsrb $5, %eax, %xmm1, %xmm1
    719 ; AVX-NEXT:    shrl $8, %edx
    720 ; AVX-NEXT:    addb %dl, %cl
    721 ; AVX-NEXT:    movb %cl, %al
    722 ; AVX-NEXT:    shrb $7, %al
    723 ; AVX-NEXT:    sarb $2, %cl
    724 ; AVX-NEXT:    addb %al, %cl
    725 ; AVX-NEXT:    movzbl %cl, %eax
    726 ; AVX-NEXT:    vpextrb $7, %xmm0, %ecx
    727 ; AVX-NEXT:    movsbl %cl, %ecx
    728 ; AVX-NEXT:    imull $-109, %ecx, %edx
    729 ; AVX-NEXT:    vpinsrb $6, %eax, %xmm1, %xmm1
    730 ; AVX-NEXT:    shrl $8, %edx
    731 ; AVX-NEXT:    addb %dl, %cl
    732 ; AVX-NEXT:    movb %cl, %al
    733 ; AVX-NEXT:    shrb $7, %al
    734 ; AVX-NEXT:    sarb $2, %cl
    735 ; AVX-NEXT:    addb %al, %cl
    736 ; AVX-NEXT:    movzbl %cl, %eax
    737 ; AVX-NEXT:    vpextrb $8, %xmm0, %ecx
    738 ; AVX-NEXT:    movsbl %cl, %ecx
    739 ; AVX-NEXT:    imull $-109, %ecx, %edx
    740 ; AVX-NEXT:    vpinsrb $7, %eax, %xmm1, %xmm1
    741 ; AVX-NEXT:    shrl $8, %edx
    742 ; AVX-NEXT:    addb %dl, %cl
    743 ; AVX-NEXT:    movb %cl, %al
    744 ; AVX-NEXT:    shrb $7, %al
    745 ; AVX-NEXT:    sarb $2, %cl
    746 ; AVX-NEXT:    addb %al, %cl
    747 ; AVX-NEXT:    movzbl %cl, %eax
    748 ; AVX-NEXT:    vpextrb $9, %xmm0, %ecx
    749 ; AVX-NEXT:    movsbl %cl, %ecx
    750 ; AVX-NEXT:    imull $-109, %ecx, %edx
    751 ; AVX-NEXT:    vpinsrb $8, %eax, %xmm1, %xmm1
    752 ; AVX-NEXT:    shrl $8, %edx
    753 ; AVX-NEXT:    addb %dl, %cl
    754 ; AVX-NEXT:    movb %cl, %al
    755 ; AVX-NEXT:    shrb $7, %al
    756 ; AVX-NEXT:    sarb $2, %cl
    757 ; AVX-NEXT:    addb %al, %cl
    758 ; AVX-NEXT:    movzbl %cl, %eax
    759 ; AVX-NEXT:    vpextrb $10, %xmm0, %ecx
    760 ; AVX-NEXT:    movsbl %cl, %ecx
    761 ; AVX-NEXT:    imull $-109, %ecx, %edx
    762 ; AVX-NEXT:    vpinsrb $9, %eax, %xmm1, %xmm1
    763 ; AVX-NEXT:    shrl $8, %edx
    764 ; AVX-NEXT:    addb %dl, %cl
    765 ; AVX-NEXT:    movb %cl, %al
    766 ; AVX-NEXT:    shrb $7, %al
    767 ; AVX-NEXT:    sarb $2, %cl
    768 ; AVX-NEXT:    addb %al, %cl
    769 ; AVX-NEXT:    movzbl %cl, %eax
    770 ; AVX-NEXT:    vpextrb $11, %xmm0, %ecx
    771 ; AVX-NEXT:    movsbl %cl, %ecx
    772 ; AVX-NEXT:    imull $-109, %ecx, %edx
    773 ; AVX-NEXT:    vpinsrb $10, %eax, %xmm1, %xmm1
    774 ; AVX-NEXT:    shrl $8, %edx
    775 ; AVX-NEXT:    addb %dl, %cl
    776 ; AVX-NEXT:    movb %cl, %al
    777 ; AVX-NEXT:    shrb $7, %al
    778 ; AVX-NEXT:    sarb $2, %cl
    779 ; AVX-NEXT:    addb %al, %cl
    780 ; AVX-NEXT:    movzbl %cl, %eax
    781 ; AVX-NEXT:    vpextrb $12, %xmm0, %ecx
    782 ; AVX-NEXT:    movsbl %cl, %ecx
    783 ; AVX-NEXT:    imull $-109, %ecx, %edx
    784 ; AVX-NEXT:    vpinsrb $11, %eax, %xmm1, %xmm1
    785 ; AVX-NEXT:    shrl $8, %edx
    786 ; AVX-NEXT:    addb %dl, %cl
    787 ; AVX-NEXT:    movb %cl, %al
    788 ; AVX-NEXT:    shrb $7, %al
    789 ; AVX-NEXT:    sarb $2, %cl
    790 ; AVX-NEXT:    addb %al, %cl
    791 ; AVX-NEXT:    movzbl %cl, %eax
    792 ; AVX-NEXT:    vpextrb $13, %xmm0, %ecx
    793 ; AVX-NEXT:    movsbl %cl, %ecx
    794 ; AVX-NEXT:    imull $-109, %ecx, %edx
    795 ; AVX-NEXT:    vpinsrb $12, %eax, %xmm1, %xmm1
    796 ; AVX-NEXT:    shrl $8, %edx
    797 ; AVX-NEXT:    addb %dl, %cl
    798 ; AVX-NEXT:    movb %cl, %al
    799 ; AVX-NEXT:    shrb $7, %al
    800 ; AVX-NEXT:    sarb $2, %cl
    801 ; AVX-NEXT:    addb %al, %cl
    802 ; AVX-NEXT:    movzbl %cl, %eax
    803 ; AVX-NEXT:    vpextrb $14, %xmm0, %ecx
    804 ; AVX-NEXT:    movsbl %cl, %ecx
    805 ; AVX-NEXT:    imull $-109, %ecx, %edx
    806 ; AVX-NEXT:    vpinsrb $13, %eax, %xmm1, %xmm1
    807 ; AVX-NEXT:    shrl $8, %edx
    808 ; AVX-NEXT:    addb %dl, %cl
    809 ; AVX-NEXT:    movb %cl, %al
    810 ; AVX-NEXT:    shrb $7, %al
    811 ; AVX-NEXT:    sarb $2, %cl
    812 ; AVX-NEXT:    addb %al, %cl
    813 ; AVX-NEXT:    movzbl %cl, %eax
    814 ; AVX-NEXT:    vpextrb $15, %xmm0, %ecx
    815 ; AVX-NEXT:    movsbl %cl, %ecx
    816 ; AVX-NEXT:    imull $-109, %ecx, %edx
    817 ; AVX-NEXT:    vpinsrb $14, %eax, %xmm1, %xmm0
    818 ; AVX-NEXT:    shrl $8, %edx
    819 ; AVX-NEXT:    addb %dl, %cl
    820 ; AVX-NEXT:    movb %cl, %al
    821 ; AVX-NEXT:    shrb $7, %al
    822 ; AVX-NEXT:    sarb $2, %cl
    823 ; AVX-NEXT:    addb %al, %cl
    824 ; AVX-NEXT:    movzbl %cl, %eax
    825 ; AVX-NEXT:    vpinsrb $15, %eax, %xmm0, %xmm0
    826 ; AVX-NEXT:    retq
    827   %div = sdiv <16 x i8> %a, <i8 7, i8 7, i8 7, i8 7,i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7,i8 7, i8 7, i8 7, i8 7>
    828   ret <16 x i8> %div
    829 }
    830 
    831 define <4 x i32> @test8(<4 x i32> %a) #0 {
    832 ; SSE41-LABEL: test8:
    833 ; SSE41:       # BB#0:
    834 ; SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [2454267027,2454267027,2454267027,2454267027]
    835 ; SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
    836 ; SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
    837 ; SSE41-NEXT:    pmuldq %xmm2, %xmm3
    838 ; SSE41-NEXT:    pmuldq %xmm0, %xmm1
    839 ; SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
    840 ; SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
    841 ; SSE41-NEXT:    paddd %xmm0, %xmm1
    842 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
    843 ; SSE41-NEXT:    psrld $31, %xmm0
    844 ; SSE41-NEXT:    psrad $2, %xmm1
    845 ; SSE41-NEXT:    paddd %xmm0, %xmm1
    846 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
    847 ; SSE41-NEXT:    retq
    848 ;
    849 ; SSE-LABEL: test8:
    850 ; SSE:       # BB#0:
    851 ; SSE-NEXT:    movdqa {{.*#+}} xmm1 = [2454267027,2454267027,2454267027,2454267027]
    852 ; SSE-NEXT:    movdqa %xmm0, %xmm2
    853 ; SSE-NEXT:    psrad $31, %xmm2
    854 ; SSE-NEXT:    pand %xmm1, %xmm2
    855 ; SSE-NEXT:    movdqa %xmm0, %xmm3
    856 ; SSE-NEXT:    pmuludq %xmm1, %xmm3
    857 ; SSE-NEXT:    pshufd {{.*#+}} xmm4 = xmm1[1,1,3,3]
    858 ; SSE-NEXT:    psrad $31, %xmm1
    859 ; SSE-NEXT:    pand %xmm0, %xmm1
    860 ; SSE-NEXT:    paddd %xmm1, %xmm2
    861 ; SSE-NEXT:    pshufd {{.*#+}} xmm1 = xmm3[1,3,2,3]
    862 ; SSE-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
    863 ; SSE-NEXT:    pmuludq %xmm4, %xmm3
    864 ; SSE-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[1,3,2,3]
    865 ; SSE-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1]
    866 ; SSE-NEXT:    psubd %xmm2, %xmm1
    867 ; SSE-NEXT:    paddd %xmm0, %xmm1
    868 ; SSE-NEXT:    movdqa %xmm1, %xmm0
    869 ; SSE-NEXT:    psrld $31, %xmm0
    870 ; SSE-NEXT:    psrad $2, %xmm1
    871 ; SSE-NEXT:    paddd %xmm0, %xmm1
    872 ; SSE-NEXT:    movdqa %xmm1, %xmm0
    873 ; SSE-NEXT:    retq
    874 ;
    875 ; AVX-LABEL: test8:
    876 ; AVX:       # BB#0:
    877 ; AVX-NEXT:    vpbroadcastd {{.*}}(%rip), %xmm1
    878 ; AVX-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
    879 ; AVX-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
    880 ; AVX-NEXT:    vpmuldq %xmm2, %xmm3, %xmm2
    881 ; AVX-NEXT:    vpmuldq %xmm1, %xmm0, %xmm1
    882 ; AVX-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
    883 ; AVX-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
    884 ; AVX-NEXT:    vpaddd %xmm0, %xmm1, %xmm0
    885 ; AVX-NEXT:    vpsrld $31, %xmm0, %xmm1
    886 ; AVX-NEXT:    vpsrad $2, %xmm0, %xmm0
    887 ; AVX-NEXT:    vpaddd %xmm1, %xmm0, %xmm0
    888 ; AVX-NEXT:    retq
    889   %div = sdiv <4 x i32> %a, <i32 7, i32 7, i32 7, i32 7>
    890   ret <4 x i32> %div
    891 }
    892 
    893 define <8 x i32> @test9(<8 x i32> %a) #0 {
    894 ; SSE41-LABEL: test9:
    895 ; SSE41:       # BB#0:
    896 ; SSE41-NEXT:    movdqa {{.*#+}} xmm3 = [2454267027,2454267027,2454267027,2454267027]
    897 ; SSE41-NEXT:    pshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
    898 ; SSE41-NEXT:    pshufd {{.*#+}} xmm5 = xmm0[1,1,3,3]
    899 ; SSE41-NEXT:    pmuldq %xmm4, %xmm5
    900 ; SSE41-NEXT:    movdqa %xmm0, %xmm2
    901 ; SSE41-NEXT:    pmuldq %xmm3, %xmm2
    902 ; SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
    903 ; SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1],xmm5[2,3],xmm2[4,5],xmm5[6,7]
    904 ; SSE41-NEXT:    paddd %xmm0, %xmm2
    905 ; SSE41-NEXT:    movdqa %xmm2, %xmm0
    906 ; SSE41-NEXT:    psrld $31, %xmm0
    907 ; SSE41-NEXT:    psrad $2, %xmm2
    908 ; SSE41-NEXT:    paddd %xmm0, %xmm2
    909 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,3,3]
    910 ; SSE41-NEXT:    pmuldq %xmm4, %xmm0
    911 ; SSE41-NEXT:    pmuldq %xmm1, %xmm3
    912 ; SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[1,1,3,3]
    913 ; SSE41-NEXT:    pblendw {{.*#+}} xmm3 = xmm3[0,1],xmm0[2,3],xmm3[4,5],xmm0[6,7]
    914 ; SSE41-NEXT:    paddd %xmm1, %xmm3
    915 ; SSE41-NEXT:    movdqa %xmm3, %xmm0
    916 ; SSE41-NEXT:    psrld $31, %xmm0
    917 ; SSE41-NEXT:    psrad $2, %xmm3
    918 ; SSE41-NEXT:    paddd %xmm0, %xmm3
    919 ; SSE41-NEXT:    movdqa %xmm2, %xmm0
    920 ; SSE41-NEXT:    movdqa %xmm3, %xmm1
    921 ; SSE41-NEXT:    retq
    922 ;
    923 ; SSE-LABEL: test9:
    924 ; SSE:       # BB#0:
    925 ; SSE-NEXT:    movdqa %xmm0, %xmm2
    926 ; SSE-NEXT:    movdqa {{.*#+}} xmm3 = [2454267027,2454267027,2454267027,2454267027]
    927 ; SSE-NEXT:    movdqa %xmm3, %xmm4
    928 ; SSE-NEXT:    psrad $31, %xmm4
    929 ; SSE-NEXT:    movdqa %xmm4, %xmm0
    930 ; SSE-NEXT:    pand %xmm2, %xmm0
    931 ; SSE-NEXT:    movdqa %xmm2, %xmm5
    932 ; SSE-NEXT:    psrad $31, %xmm5
    933 ; SSE-NEXT:    pand %xmm3, %xmm5
    934 ; SSE-NEXT:    paddd %xmm0, %xmm5
    935 ; SSE-NEXT:    movdqa %xmm2, %xmm0
    936 ; SSE-NEXT:    pmuludq %xmm3, %xmm0
    937 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[1,3,2,3]
    938 ; SSE-NEXT:    pshufd {{.*#+}} xmm6 = xmm3[1,1,3,3]
    939 ; SSE-NEXT:    pshufd {{.*#+}} xmm7 = xmm2[1,1,3,3]
    940 ; SSE-NEXT:    pmuludq %xmm6, %xmm7
    941 ; SSE-NEXT:    pshufd {{.*#+}} xmm7 = xmm7[1,3,2,3]
    942 ; SSE-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm7[0],xmm0[1],xmm7[1]
    943 ; SSE-NEXT:    psubd %xmm5, %xmm0
    944 ; SSE-NEXT:    paddd %xmm2, %xmm0
    945 ; SSE-NEXT:    movdqa %xmm0, %xmm2
    946 ; SSE-NEXT:    psrld $31, %xmm2
    947 ; SSE-NEXT:    psrad $2, %xmm0
    948 ; SSE-NEXT:    paddd %xmm2, %xmm0
    949 ; SSE-NEXT:    pand %xmm1, %xmm4
    950 ; SSE-NEXT:    movdqa %xmm1, %xmm5
    951 ; SSE-NEXT:    psrad $31, %xmm5
    952 ; SSE-NEXT:    pand %xmm3, %xmm5
    953 ; SSE-NEXT:    paddd %xmm4, %xmm5
    954 ; SSE-NEXT:    pmuludq %xmm1, %xmm3
    955 ; SSE-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[1,3,2,3]
    956 ; SSE-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[1,1,3,3]
    957 ; SSE-NEXT:    pmuludq %xmm6, %xmm3
    958 ; SSE-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[1,3,2,3]
    959 ; SSE-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm3[0],xmm2[1],xmm3[1]
    960 ; SSE-NEXT:    psubd %xmm5, %xmm2
    961 ; SSE-NEXT:    paddd %xmm1, %xmm2
    962 ; SSE-NEXT:    movdqa %xmm2, %xmm1
    963 ; SSE-NEXT:    psrld $31, %xmm1
    964 ; SSE-NEXT:    psrad $2, %xmm2
    965 ; SSE-NEXT:    paddd %xmm1, %xmm2
    966 ; SSE-NEXT:    movdqa %xmm2, %xmm1
    967 ; SSE-NEXT:    retq
    968 ;
    969 ; AVX-LABEL: test9:
    970 ; AVX:       # BB#0:
    971 ; AVX-NEXT:    vpbroadcastd {{.*}}(%rip), %ymm1
    972 ; AVX-NEXT:    vpshufd {{.*#+}} ymm2 = ymm1[1,1,3,3,5,5,7,7]
    973 ; AVX-NEXT:    vpshufd {{.*#+}} ymm3 = ymm0[1,1,3,3,5,5,7,7]
    974 ; AVX-NEXT:    vpmuldq %ymm2, %ymm3, %ymm2
    975 ; AVX-NEXT:    vpmuldq %ymm1, %ymm0, %ymm1
    976 ; AVX-NEXT:    vpshufd {{.*#+}} ymm1 = ymm1[1,1,3,3,5,5,7,7]
    977 ; AVX-NEXT:    vpblendd {{.*#+}} ymm1 = ymm1[0],ymm2[1],ymm1[2],ymm2[3],ymm1[4],ymm2[5],ymm1[6],ymm2[7]
    978 ; AVX-NEXT:    vpaddd %ymm0, %ymm1, %ymm0
    979 ; AVX-NEXT:    vpsrld $31, %ymm0, %ymm1
    980 ; AVX-NEXT:    vpsrad $2, %ymm0, %ymm0
    981 ; AVX-NEXT:    vpaddd %ymm1, %ymm0, %ymm0
    982 ; AVX-NEXT:    retq
    983   %div = sdiv <8 x i32> %a, <i32 7, i32 7, i32 7, i32 7,i32 7, i32 7, i32 7, i32 7>
    984   ret <8 x i32> %div
    985 }
    986 
    987 define <8 x i32> @test10(<8 x i32> %a) #0 {
    988 ; SSE41-LABEL: test10:
    989 ; SSE41:       # BB#0:
    990 ; SSE41-NEXT:    movdqa {{.*#+}} xmm2 = [613566757,613566757,613566757,613566757]
    991 ; SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm2[1,1,3,3]
    992 ; SSE41-NEXT:    pshufd {{.*#+}} xmm4 = xmm0[1,1,3,3]
    993 ; SSE41-NEXT:    pmuludq %xmm3, %xmm4
    994 ; SSE41-NEXT:    movdqa %xmm0, %xmm5
    995 ; SSE41-NEXT:    pmuludq %xmm2, %xmm5
    996 ; SSE41-NEXT:    pshufd {{.*#+}} xmm5 = xmm5[1,1,3,3]
    997 ; SSE41-NEXT:    pblendw {{.*#+}} xmm5 = xmm5[0,1],xmm4[2,3],xmm5[4,5],xmm4[6,7]
    998 ; SSE41-NEXT:    movdqa %xmm0, %xmm4
    999 ; SSE41-NEXT:    psubd %xmm5, %xmm4
   1000 ; SSE41-NEXT:    psrld $1, %xmm4
   1001 ; SSE41-NEXT:    paddd %xmm5, %xmm4
   1002 ; SSE41-NEXT:    psrld $2, %xmm4
   1003 ; SSE41-NEXT:    movdqa {{.*#+}} xmm5 = [7,7,7,7]
   1004 ; SSE41-NEXT:    pmulld %xmm5, %xmm4
   1005 ; SSE41-NEXT:    psubd %xmm4, %xmm0
   1006 ; SSE41-NEXT:    pshufd {{.*#+}} xmm4 = xmm1[1,1,3,3]
   1007 ; SSE41-NEXT:    pmuludq %xmm3, %xmm4
   1008 ; SSE41-NEXT:    pmuludq %xmm1, %xmm2
   1009 ; SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
   1010 ; SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1],xmm4[2,3],xmm2[4,5],xmm4[6,7]
   1011 ; SSE41-NEXT:    movdqa %xmm1, %xmm3
   1012 ; SSE41-NEXT:    psubd %xmm2, %xmm3
   1013 ; SSE41-NEXT:    psrld $1, %xmm3
   1014 ; SSE41-NEXT:    paddd %xmm2, %xmm3
   1015 ; SSE41-NEXT:    psrld $2, %xmm3
   1016 ; SSE41-NEXT:    pmulld %xmm5, %xmm3
   1017 ; SSE41-NEXT:    psubd %xmm3, %xmm1
   1018 ; SSE41-NEXT:    retq
   1019 ;
   1020 ; SSE-LABEL: test10:
   1021 ; SSE:       # BB#0:
   1022 ; SSE-NEXT:    movdqa {{.*#+}} xmm3 = [613566757,613566757,613566757,613566757]
   1023 ; SSE-NEXT:    movdqa %xmm0, %xmm2
   1024 ; SSE-NEXT:    pmuludq %xmm3, %xmm2
   1025 ; SSE-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,3,2,3]
   1026 ; SSE-NEXT:    pshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
   1027 ; SSE-NEXT:    pshufd {{.*#+}} xmm5 = xmm0[1,1,3,3]
   1028 ; SSE-NEXT:    pmuludq %xmm4, %xmm5
   1029 ; SSE-NEXT:    pshufd {{.*#+}} xmm5 = xmm5[1,3,2,3]
   1030 ; SSE-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm5[0],xmm2[1],xmm5[1]
   1031 ; SSE-NEXT:    movdqa %xmm0, %xmm5
   1032 ; SSE-NEXT:    psubd %xmm2, %xmm5
   1033 ; SSE-NEXT:    psrld $1, %xmm5
   1034 ; SSE-NEXT:    paddd %xmm2, %xmm5
   1035 ; SSE-NEXT:    psrld $2, %xmm5
   1036 ; SSE-NEXT:    movdqa {{.*#+}} xmm2 = [7,7,7,7]
   1037 ; SSE-NEXT:    pshufd {{.*#+}} xmm6 = xmm5[1,1,3,3]
   1038 ; SSE-NEXT:    pmuludq %xmm2, %xmm5
   1039 ; SSE-NEXT:    pshufd {{.*#+}} xmm5 = xmm5[0,2,2,3]
   1040 ; SSE-NEXT:    pmuludq %xmm2, %xmm6
   1041 ; SSE-NEXT:    pshufd {{.*#+}} xmm6 = xmm6[0,2,2,3]
   1042 ; SSE-NEXT:    punpckldq {{.*#+}} xmm5 = xmm5[0],xmm6[0],xmm5[1],xmm6[1]
   1043 ; SSE-NEXT:    psubd %xmm5, %xmm0
   1044 ; SSE-NEXT:    pmuludq %xmm1, %xmm3
   1045 ; SSE-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[1,3,2,3]
   1046 ; SSE-NEXT:    pshufd {{.*#+}} xmm5 = xmm1[1,1,3,3]
   1047 ; SSE-NEXT:    pmuludq %xmm4, %xmm5
   1048 ; SSE-NEXT:    pshufd {{.*#+}} xmm4 = xmm5[1,3,2,3]
   1049 ; SSE-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
   1050 ; SSE-NEXT:    movdqa %xmm1, %xmm4
   1051 ; SSE-NEXT:    psubd %xmm3, %xmm4
   1052 ; SSE-NEXT:    psrld $1, %xmm4
   1053 ; SSE-NEXT:    paddd %xmm3, %xmm4
   1054 ; SSE-NEXT:    psrld $2, %xmm4
   1055 ; SSE-NEXT:    pshufd {{.*#+}} xmm3 = xmm4[1,1,3,3]
   1056 ; SSE-NEXT:    pmuludq %xmm2, %xmm4
   1057 ; SSE-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[0,2,2,3]
   1058 ; SSE-NEXT:    pmuludq %xmm2, %xmm3
   1059 ; SSE-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[0,2,2,3]
   1060 ; SSE-NEXT:    punpckldq {{.*#+}} xmm4 = xmm4[0],xmm2[0],xmm4[1],xmm2[1]
   1061 ; SSE-NEXT:    psubd %xmm4, %xmm1
   1062 ; SSE-NEXT:    retq
   1063 ;
   1064 ; AVX-LABEL: test10:
   1065 ; AVX:       # BB#0:
   1066 ; AVX-NEXT:    vpbroadcastd {{.*}}(%rip), %ymm1
   1067 ; AVX-NEXT:    vpshufd {{.*#+}} ymm2 = ymm1[1,1,3,3,5,5,7,7]
   1068 ; AVX-NEXT:    vpshufd {{.*#+}} ymm3 = ymm0[1,1,3,3,5,5,7,7]
   1069 ; AVX-NEXT:    vpmuludq %ymm2, %ymm3, %ymm2
   1070 ; AVX-NEXT:    vpmuludq %ymm1, %ymm0, %ymm1
   1071 ; AVX-NEXT:    vpshufd {{.*#+}} ymm1 = ymm1[1,1,3,3,5,5,7,7]
   1072 ; AVX-NEXT:    vpblendd {{.*#+}} ymm1 = ymm1[0],ymm2[1],ymm1[2],ymm2[3],ymm1[4],ymm2[5],ymm1[6],ymm2[7]
   1073 ; AVX-NEXT:    vpsubd %ymm1, %ymm0, %ymm2
   1074 ; AVX-NEXT:    vpsrld $1, %ymm2, %ymm2
   1075 ; AVX-NEXT:    vpaddd %ymm1, %ymm2, %ymm1
   1076 ; AVX-NEXT:    vpsrld $2, %ymm1, %ymm1
   1077 ; AVX-NEXT:    vpbroadcastd {{.*}}(%rip), %ymm2
   1078 ; AVX-NEXT:    vpmulld %ymm2, %ymm1, %ymm1
   1079 ; AVX-NEXT:    vpsubd %ymm1, %ymm0, %ymm0
   1080 ; AVX-NEXT:    retq
   1081   %rem = urem <8 x i32> %a, <i32 7, i32 7, i32 7, i32 7,i32 7, i32 7, i32 7, i32 7>
   1082   ret <8 x i32> %rem
   1083 }
   1084 
   1085 define <8 x i32> @test11(<8 x i32> %a) #0 {
   1086 ; SSE41-LABEL: test11:
   1087 ; SSE41:       # BB#0:
   1088 ; SSE41-NEXT:    movdqa {{.*#+}} xmm2 = [2454267027,2454267027,2454267027,2454267027]
   1089 ; SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm2[1,1,3,3]
   1090 ; SSE41-NEXT:    pshufd {{.*#+}} xmm4 = xmm0[1,1,3,3]
   1091 ; SSE41-NEXT:    pmuldq %xmm3, %xmm4
   1092 ; SSE41-NEXT:    movdqa %xmm0, %xmm5
   1093 ; SSE41-NEXT:    pmuldq %xmm2, %xmm5
   1094 ; SSE41-NEXT:    pshufd {{.*#+}} xmm5 = xmm5[1,1,3,3]
   1095 ; SSE41-NEXT:    pblendw {{.*#+}} xmm5 = xmm5[0,1],xmm4[2,3],xmm5[4,5],xmm4[6,7]
   1096 ; SSE41-NEXT:    paddd %xmm0, %xmm5
   1097 ; SSE41-NEXT:    movdqa %xmm5, %xmm4
   1098 ; SSE41-NEXT:    psrld $31, %xmm4
   1099 ; SSE41-NEXT:    psrad $2, %xmm5
   1100 ; SSE41-NEXT:    paddd %xmm4, %xmm5
   1101 ; SSE41-NEXT:    movdqa {{.*#+}} xmm4 = [7,7,7,7]
   1102 ; SSE41-NEXT:    pmulld %xmm4, %xmm5
   1103 ; SSE41-NEXT:    psubd %xmm5, %xmm0
   1104 ; SSE41-NEXT:    pshufd {{.*#+}} xmm5 = xmm1[1,1,3,3]
   1105 ; SSE41-NEXT:    pmuldq %xmm3, %xmm5
   1106 ; SSE41-NEXT:    pmuldq %xmm1, %xmm2
   1107 ; SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
   1108 ; SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1],xmm5[2,3],xmm2[4,5],xmm5[6,7]
   1109 ; SSE41-NEXT:    paddd %xmm1, %xmm2
   1110 ; SSE41-NEXT:    movdqa %xmm2, %xmm3
   1111 ; SSE41-NEXT:    psrld $31, %xmm3
   1112 ; SSE41-NEXT:    psrad $2, %xmm2
   1113 ; SSE41-NEXT:    paddd %xmm3, %xmm2
   1114 ; SSE41-NEXT:    pmulld %xmm4, %xmm2
   1115 ; SSE41-NEXT:    psubd %xmm2, %xmm1
   1116 ; SSE41-NEXT:    retq
   1117 ;
   1118 ; SSE-LABEL: test11:
   1119 ; SSE:       # BB#0:
   1120 ; SSE-NEXT:    movdqa {{.*#+}} xmm2 = [2454267027,2454267027,2454267027,2454267027]
   1121 ; SSE-NEXT:    movdqa %xmm2, %xmm3
   1122 ; SSE-NEXT:    psrad $31, %xmm3
   1123 ; SSE-NEXT:    movdqa %xmm3, %xmm4
   1124 ; SSE-NEXT:    pand %xmm0, %xmm4
   1125 ; SSE-NEXT:    movdqa %xmm0, %xmm6
   1126 ; SSE-NEXT:    psrad $31, %xmm6
   1127 ; SSE-NEXT:    pand %xmm2, %xmm6
   1128 ; SSE-NEXT:    paddd %xmm4, %xmm6
   1129 ; SSE-NEXT:    movdqa %xmm0, %xmm4
   1130 ; SSE-NEXT:    pmuludq %xmm2, %xmm4
   1131 ; SSE-NEXT:    pshufd {{.*#+}} xmm7 = xmm4[1,3,2,3]
   1132 ; SSE-NEXT:    pshufd {{.*#+}} xmm5 = xmm2[1,1,3,3]
   1133 ; SSE-NEXT:    pshufd {{.*#+}} xmm4 = xmm0[1,1,3,3]
   1134 ; SSE-NEXT:    pmuludq %xmm5, %xmm4
   1135 ; SSE-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[1,3,2,3]
   1136 ; SSE-NEXT:    punpckldq {{.*#+}} xmm7 = xmm7[0],xmm4[0],xmm7[1],xmm4[1]
   1137 ; SSE-NEXT:    psubd %xmm6, %xmm7
   1138 ; SSE-NEXT:    paddd %xmm0, %xmm7
   1139 ; SSE-NEXT:    movdqa %xmm7, %xmm4
   1140 ; SSE-NEXT:    psrld $31, %xmm4
   1141 ; SSE-NEXT:    psrad $2, %xmm7
   1142 ; SSE-NEXT:    paddd %xmm4, %xmm7
   1143 ; SSE-NEXT:    movdqa {{.*#+}} xmm4 = [7,7,7,7]
   1144 ; SSE-NEXT:    pshufd {{.*#+}} xmm6 = xmm7[1,1,3,3]
   1145 ; SSE-NEXT:    pmuludq %xmm4, %xmm7
   1146 ; SSE-NEXT:    pshufd {{.*#+}} xmm7 = xmm7[0,2,2,3]
   1147 ; SSE-NEXT:    pmuludq %xmm4, %xmm6
   1148 ; SSE-NEXT:    pshufd {{.*#+}} xmm6 = xmm6[0,2,2,3]
   1149 ; SSE-NEXT:    punpckldq {{.*#+}} xmm7 = xmm7[0],xmm6[0],xmm7[1],xmm6[1]
   1150 ; SSE-NEXT:    psubd %xmm7, %xmm0
   1151 ; SSE-NEXT:    pand %xmm1, %xmm3
   1152 ; SSE-NEXT:    movdqa %xmm1, %xmm6
   1153 ; SSE-NEXT:    psrad $31, %xmm6
   1154 ; SSE-NEXT:    pand %xmm2, %xmm6
   1155 ; SSE-NEXT:    paddd %xmm3, %xmm6
   1156 ; SSE-NEXT:    pmuludq %xmm1, %xmm2
   1157 ; SSE-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,3,2,3]
   1158 ; SSE-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[1,1,3,3]
   1159 ; SSE-NEXT:    pmuludq %xmm5, %xmm3
   1160 ; SSE-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[1,3,2,3]
   1161 ; SSE-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm3[0],xmm2[1],xmm3[1]
   1162 ; SSE-NEXT:    psubd %xmm6, %xmm2
   1163 ; SSE-NEXT:    paddd %xmm1, %xmm2
   1164 ; SSE-NEXT:    movdqa %xmm2, %xmm3
   1165 ; SSE-NEXT:    psrld $31, %xmm3
   1166 ; SSE-NEXT:    psrad $2, %xmm2
   1167 ; SSE-NEXT:    paddd %xmm3, %xmm2
   1168 ; SSE-NEXT:    pshufd {{.*#+}} xmm3 = xmm2[1,1,3,3]
   1169 ; SSE-NEXT:    pmuludq %xmm4, %xmm2
   1170 ; SSE-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[0,2,2,3]
   1171 ; SSE-NEXT:    pmuludq %xmm4, %xmm3
   1172 ; SSE-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[0,2,2,3]
   1173 ; SSE-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm3[0],xmm2[1],xmm3[1]
   1174 ; SSE-NEXT:    psubd %xmm2, %xmm1
   1175 ; SSE-NEXT:    retq
   1176 ;
   1177 ; AVX-LABEL: test11:
   1178 ; AVX:       # BB#0:
   1179 ; AVX-NEXT:    vpbroadcastd {{.*}}(%rip), %ymm1
   1180 ; AVX-NEXT:    vpshufd {{.*#+}} ymm2 = ymm1[1,1,3,3,5,5,7,7]
   1181 ; AVX-NEXT:    vpshufd {{.*#+}} ymm3 = ymm0[1,1,3,3,5,5,7,7]
   1182 ; AVX-NEXT:    vpmuldq %ymm2, %ymm3, %ymm2
   1183 ; AVX-NEXT:    vpmuldq %ymm1, %ymm0, %ymm1
   1184 ; AVX-NEXT:    vpshufd {{.*#+}} ymm1 = ymm1[1,1,3,3,5,5,7,7]
   1185 ; AVX-NEXT:    vpblendd {{.*#+}} ymm1 = ymm1[0],ymm2[1],ymm1[2],ymm2[3],ymm1[4],ymm2[5],ymm1[6],ymm2[7]
   1186 ; AVX-NEXT:    vpaddd %ymm0, %ymm1, %ymm1
   1187 ; AVX-NEXT:    vpsrld $31, %ymm1, %ymm2
   1188 ; AVX-NEXT:    vpsrad $2, %ymm1, %ymm1
   1189 ; AVX-NEXT:    vpaddd %ymm2, %ymm1, %ymm1
   1190 ; AVX-NEXT:    vpbroadcastd {{.*}}(%rip), %ymm2
   1191 ; AVX-NEXT:    vpmulld %ymm2, %ymm1, %ymm1
   1192 ; AVX-NEXT:    vpsubd %ymm1, %ymm0, %ymm0
   1193 ; AVX-NEXT:    retq
   1194   %rem = srem <8 x i32> %a, <i32 7, i32 7, i32 7, i32 7,i32 7, i32 7, i32 7, i32 7>
   1195   ret <8 x i32> %rem
   1196 }
   1197 
   1198 define <2 x i16> @test12() #0 {
   1199 ; SSE41-LABEL: test12:
   1200 ; SSE41:       # BB#0:
   1201 ; SSE41-NEXT:    xorps %xmm0, %xmm0
   1202 ; SSE41-NEXT:    retq
   1203 ;
   1204 ; SSE-LABEL: test12:
   1205 ; SSE:       # BB#0:
   1206 ; SSE-NEXT:    xorps %xmm0, %xmm0
   1207 ; SSE-NEXT:    retq
   1208 ;
   1209 ; AVX-LABEL: test12:
   1210 ; AVX:       # BB#0:
   1211 ; AVX-NEXT:    vxorps %xmm0, %xmm0, %xmm0
   1212 ; AVX-NEXT:    retq
   1213   %I8 = insertelement <2 x i16> zeroinitializer, i16 -1, i32 0
   1214   %I9 = insertelement <2 x i16> %I8, i16 -1, i32 1
   1215   %B9 = urem <2 x i16> %I9, %I9
   1216   ret <2 x i16> %B9
   1217 }
   1218 
   1219 define <4 x i32> @PR20355(<4 x i32> %a) #0 {
   1220 ; SSE41-LABEL: PR20355:
   1221 ; SSE41:       # BB#0: # %entry
   1222 ; SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [1431655766,1431655766,1431655766,1431655766]
   1223 ; SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
   1224 ; SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
   1225 ; SSE41-NEXT:    pmuldq %xmm2, %xmm3
   1226 ; SSE41-NEXT:    pmuldq %xmm1, %xmm0
   1227 ; SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
   1228 ; SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
   1229 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
   1230 ; SSE41-NEXT:    psrld $31, %xmm0
   1231 ; SSE41-NEXT:    paddd %xmm1, %xmm0
   1232 ; SSE41-NEXT:    retq
   1233 ;
   1234 ; SSE-LABEL: PR20355:
   1235 ; SSE:       # BB#0: # %entry
   1236 ; SSE-NEXT:    movdqa {{.*#+}} xmm1 = [1431655766,1431655766,1431655766,1431655766]
   1237 ; SSE-NEXT:    movdqa %xmm1, %xmm2
   1238 ; SSE-NEXT:    psrad $31, %xmm2
   1239 ; SSE-NEXT:    pand %xmm0, %xmm2
   1240 ; SSE-NEXT:    movdqa %xmm0, %xmm3
   1241 ; SSE-NEXT:    psrad $31, %xmm3
   1242 ; SSE-NEXT:    pand %xmm1, %xmm3
   1243 ; SSE-NEXT:    paddd %xmm2, %xmm3
   1244 ; SSE-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
   1245 ; SSE-NEXT:    pmuludq %xmm1, %xmm0
   1246 ; SSE-NEXT:    pshufd {{.*#+}} xmm4 = xmm0[1,3,2,3]
   1247 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,3,3]
   1248 ; SSE-NEXT:    pmuludq %xmm2, %xmm0
   1249 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[1,3,2,3]
   1250 ; SSE-NEXT:    punpckldq {{.*#+}} xmm4 = xmm4[0],xmm0[0],xmm4[1],xmm0[1]
   1251 ; SSE-NEXT:    psubd %xmm3, %xmm4
   1252 ; SSE-NEXT:    movdqa %xmm4, %xmm0
   1253 ; SSE-NEXT:    psrld $31, %xmm0
   1254 ; SSE-NEXT:    paddd %xmm4, %xmm0
   1255 ; SSE-NEXT:    retq
   1256 ;
   1257 ; AVX-LABEL: PR20355:
   1258 ; AVX:       # BB#0: # %entry
   1259 ; AVX-NEXT:    vpbroadcastd {{.*}}(%rip), %xmm1
   1260 ; AVX-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
   1261 ; AVX-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
   1262 ; AVX-NEXT:    vpmuldq %xmm2, %xmm3, %xmm2
   1263 ; AVX-NEXT:    vpmuldq %xmm1, %xmm0, %xmm0
   1264 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[1,1,3,3]
   1265 ; AVX-NEXT:    vpblendd {{.*#+}} xmm0 = xmm0[0],xmm2[1],xmm0[2],xmm2[3]
   1266 ; AVX-NEXT:    vpsrld $31, %xmm0, %xmm1
   1267 ; AVX-NEXT:    vpaddd %xmm1, %xmm0, %xmm0
   1268 ; AVX-NEXT:    retq
   1269 entry:
   1270   %sdiv = sdiv <4 x i32> %a, <i32 3, i32 3, i32 3, i32 3>
   1271   ret <4 x i32> %sdiv
   1272 }
   1273 
   1274 attributes #0 = { nounwind }
   1275