Home | History | Annotate | Download | only in X86 
      1 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown | FileCheck %s --check-prefix=ALL --check-prefix=SSE --check-prefix=SSE2
      2 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+sse3 | FileCheck %s --check-prefix=ALL --check-prefix=SSE --check-prefix=SSE3
      3 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+ssse3 | FileCheck %s --check-prefix=ALL --check-prefix=SSE --check-prefix=SSSE3
      4 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+sse4.1 | FileCheck %s --check-prefix=ALL --check-prefix=SSE --check-prefix=SSE41
      5 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx | FileCheck %s --check-prefix=ALL --check-prefix=AVX --check-prefix=AVX1
      6 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx2 | FileCheck %s --check-prefix=ALL --check-prefix=AVX --check-prefix=AVX2
      7 ; RUN: llc < %s -mtriple=x86_64-apple-darwin -mcpu=knl -mattr=+avx512cd -mattr=+avx512vl | FileCheck %s --check-prefix=AVX512VLCD --check-prefix=ALL --check-prefix=AVX512
      8 ; RUN: llc < %s -mtriple=x86_64-apple-darwin -mcpu=knl -mattr=+avx512cd | FileCheck %s --check-prefix=AVX512CD --check-prefix=ALL --check-prefix=AVX512
      9 
     10 define <2 x i64> @testv2i64(<2 x i64> %in) nounwind {
     11 ; SSE2-LABEL: testv2i64:
     12 ; SSE2:       # BB#0:
     13 ; SSE2-NEXT:    movd %xmm0, %rax
     14 ; SSE2-NEXT:    bsrq %rax, %rax
     15 ; SSE2-NEXT:    movl $127, %ecx
     16 ; SSE2-NEXT:    cmoveq %rcx, %rax
     17 ; SSE2-NEXT:    xorq $63, %rax
     18 ; SSE2-NEXT:    movd %rax, %xmm1
     19 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
     20 ; SSE2-NEXT:    movd %xmm0, %rax
     21 ; SSE2-NEXT:    bsrq %rax, %rax
     22 ; SSE2-NEXT:    cmoveq %rcx, %rax
     23 ; SSE2-NEXT:    xorq $63, %rax
     24 ; SSE2-NEXT:    movd %rax, %xmm0
     25 ; SSE2-NEXT:    punpcklqdq {{.*#+}} xmm1 = xmm1[0],xmm0[0]
     26 ; SSE2-NEXT:    movdqa %xmm1, %xmm0
     27 ; SSE2-NEXT:    retq
     28 ;
     29 ; SSE3-LABEL: testv2i64:
     30 ; SSE3:       # BB#0:
     31 ; SSE3-NEXT:    movd %xmm0, %rax
     32 ; SSE3-NEXT:    bsrq %rax, %rax
     33 ; SSE3-NEXT:    movl $127, %ecx
     34 ; SSE3-NEXT:    cmoveq %rcx, %rax
     35 ; SSE3-NEXT:    xorq $63, %rax
     36 ; SSE3-NEXT:    movd %rax, %xmm1
     37 ; SSE3-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
     38 ; SSE3-NEXT:    movd %xmm0, %rax
     39 ; SSE3-NEXT:    bsrq %rax, %rax
     40 ; SSE3-NEXT:    cmoveq %rcx, %rax
     41 ; SSE3-NEXT:    xorq $63, %rax
     42 ; SSE3-NEXT:    movd %rax, %xmm0
     43 ; SSE3-NEXT:    punpcklqdq {{.*#+}} xmm1 = xmm1[0],xmm0[0]
     44 ; SSE3-NEXT:    movdqa %xmm1, %xmm0
     45 ; SSE3-NEXT:    retq
     46 ;
     47 ; SSSE3-LABEL: testv2i64:
     48 ; SSSE3:       # BB#0:
     49 ; SSSE3-NEXT:    movd %xmm0, %rax
     50 ; SSSE3-NEXT:    bsrq %rax, %rax
     51 ; SSSE3-NEXT:    movl $127, %ecx
     52 ; SSSE3-NEXT:    cmoveq %rcx, %rax
     53 ; SSSE3-NEXT:    xorq $63, %rax
     54 ; SSSE3-NEXT:    movd %rax, %xmm1
     55 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
     56 ; SSSE3-NEXT:    movd %xmm0, %rax
     57 ; SSSE3-NEXT:    bsrq %rax, %rax
     58 ; SSSE3-NEXT:    cmoveq %rcx, %rax
     59 ; SSSE3-NEXT:    xorq $63, %rax
     60 ; SSSE3-NEXT:    movd %rax, %xmm0
     61 ; SSSE3-NEXT:    punpcklqdq {{.*#+}} xmm1 = xmm1[0],xmm0[0]
     62 ; SSSE3-NEXT:    movdqa %xmm1, %xmm0
     63 ; SSSE3-NEXT:    retq
     64 ;
     65 ; SSE41-LABEL: testv2i64:
     66 ; SSE41:       # BB#0:
     67 ; SSE41-NEXT:    pextrq $1, %xmm0, %rax
     68 ; SSE41-NEXT:    bsrq %rax, %rax
     69 ; SSE41-NEXT:    movl $127, %ecx
     70 ; SSE41-NEXT:    cmoveq %rcx, %rax
     71 ; SSE41-NEXT:    xorq $63, %rax
     72 ; SSE41-NEXT:    movd %rax, %xmm1
     73 ; SSE41-NEXT:    movd %xmm0, %rax
     74 ; SSE41-NEXT:    bsrq %rax, %rax
     75 ; SSE41-NEXT:    cmoveq %rcx, %rax
     76 ; SSE41-NEXT:    xorq $63, %rax
     77 ; SSE41-NEXT:    movd %rax, %xmm0
     78 ; SSE41-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
     79 ; SSE41-NEXT:    retq
     80 ;
     81 ; AVX-LABEL: testv2i64:
     82 ; AVX:       # BB#0:
     83 ; AVX-NEXT:    vpextrq $1, %xmm0, %rax
     84 ; AVX-NEXT:    bsrq %rax, %rax
     85 ; AVX-NEXT:    movl $127, %ecx
     86 ; AVX-NEXT:    cmoveq %rcx, %rax
     87 ; AVX-NEXT:    xorq $63, %rax
     88 ; AVX-NEXT:    vmovq %rax, %xmm1
     89 ; AVX-NEXT:    vmovq %xmm0, %rax
     90 ; AVX-NEXT:    bsrq %rax, %rax
     91 ; AVX-NEXT:    cmoveq %rcx, %rax
     92 ; AVX-NEXT:    xorq $63, %rax
     93 ; AVX-NEXT:    vmovq %rax, %xmm0
     94 ; AVX-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
     95 ; AVX-NEXT:    retq
     96 ;
     97 ; AVX512VLCD-LABEL: testv2i64:
     98 ; AVX512VLCD:       ## BB#0:
     99 ; AVX512VLCD-NEXT:    vplzcntq %xmm0, %xmm0
    100 ; AVX512VLCD-NEXT:    retq
    101 ;
    102 ; AVX512CD-LABEL: testv2i64:
    103 ; AVX512CD:       ## BB#0:
    104 ; AVX512CD-NEXT:    vplzcntq %zmm0, %zmm0
    105 ; AVX512CD-NEXT:    retq
    106 
    107   %out = call <2 x i64> @llvm.ctlz.v2i64(<2 x i64> %in, i1 0)
    108   ret <2 x i64> %out
    109 }
    110 
    111 define <2 x i64> @testv2i64u(<2 x i64> %in) nounwind {
    112 ; SSE2-LABEL: testv2i64u:
    113 ; SSE2:       # BB#0:
    114 ; SSE2-NEXT:    movd %xmm0, %rax
    115 ; SSE2-NEXT:    bsrq %rax, %rax
    116 ; SSE2-NEXT:    xorq $63, %rax
    117 ; SSE2-NEXT:    movd %rax, %xmm1
    118 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
    119 ; SSE2-NEXT:    movd %xmm0, %rax
    120 ; SSE2-NEXT:    bsrq %rax, %rax
    121 ; SSE2-NEXT:    xorq $63, %rax
    122 ; SSE2-NEXT:    movd %rax, %xmm0
    123 ; SSE2-NEXT:    punpcklqdq {{.*#+}} xmm1 = xmm1[0],xmm0[0]
    124 ; SSE2-NEXT:    movdqa %xmm1, %xmm0
    125 ; SSE2-NEXT:    retq
    126 ;
    127 ; SSE3-LABEL: testv2i64u:
    128 ; SSE3:       # BB#0:
    129 ; SSE3-NEXT:    movd %xmm0, %rax
    130 ; SSE3-NEXT:    bsrq %rax, %rax
    131 ; SSE3-NEXT:    xorq $63, %rax
    132 ; SSE3-NEXT:    movd %rax, %xmm1
    133 ; SSE3-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
    134 ; SSE3-NEXT:    movd %xmm0, %rax
    135 ; SSE3-NEXT:    bsrq %rax, %rax
    136 ; SSE3-NEXT:    xorq $63, %rax
    137 ; SSE3-NEXT:    movd %rax, %xmm0
    138 ; SSE3-NEXT:    punpcklqdq {{.*#+}} xmm1 = xmm1[0],xmm0[0]
    139 ; SSE3-NEXT:    movdqa %xmm1, %xmm0
    140 ; SSE3-NEXT:    retq
    141 ;
    142 ; SSSE3-LABEL: testv2i64u:
    143 ; SSSE3:       # BB#0:
    144 ; SSSE3-NEXT:    movd %xmm0, %rax
    145 ; SSSE3-NEXT:    bsrq %rax, %rax
    146 ; SSSE3-NEXT:    xorq $63, %rax
    147 ; SSSE3-NEXT:    movd %rax, %xmm1
    148 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
    149 ; SSSE3-NEXT:    movd %xmm0, %rax
    150 ; SSSE3-NEXT:    bsrq %rax, %rax
    151 ; SSSE3-NEXT:    xorq $63, %rax
    152 ; SSSE3-NEXT:    movd %rax, %xmm0
    153 ; SSSE3-NEXT:    punpcklqdq {{.*#+}} xmm1 = xmm1[0],xmm0[0]
    154 ; SSSE3-NEXT:    movdqa %xmm1, %xmm0
    155 ; SSSE3-NEXT:    retq
    156 ;
    157 ; SSE41-LABEL: testv2i64u:
    158 ; SSE41:       # BB#0:
    159 ; SSE41-NEXT:    pextrq $1, %xmm0, %rax
    160 ; SSE41-NEXT:    bsrq %rax, %rax
    161 ; SSE41-NEXT:    xorq $63, %rax
    162 ; SSE41-NEXT:    movd %rax, %xmm1
    163 ; SSE41-NEXT:    movd %xmm0, %rax
    164 ; SSE41-NEXT:    bsrq %rax, %rax
    165 ; SSE41-NEXT:    xorq $63, %rax
    166 ; SSE41-NEXT:    movd %rax, %xmm0
    167 ; SSE41-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
    168 ; SSE41-NEXT:    retq
    169 ;
    170 ; AVX-LABEL: testv2i64u:
    171 ; AVX:       # BB#0:
    172 ; AVX-NEXT:    vpextrq $1, %xmm0, %rax
    173 ; AVX-NEXT:    bsrq %rax, %rax
    174 ; AVX-NEXT:    xorq $63, %rax
    175 ; AVX-NEXT:    vmovq %rax, %xmm1
    176 ; AVX-NEXT:    vmovq %xmm0, %rax
    177 ; AVX-NEXT:    bsrq %rax, %rax
    178 ; AVX-NEXT:    xorq $63, %rax
    179 ; AVX-NEXT:    vmovq %rax, %xmm0
    180 ; AVX-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
    181 ; AVX-NEXT:    retq
    182 ;
    183 ; AVX512VLCD-LABEL: testv2i64u:
    184 ; AVX512VLCD:       ## BB#0:
    185 ; AVX512VLCD-NEXT:    vplzcntq %xmm0, %xmm0
    186 ; AVX512VLCD-NEXT:    retq
    187 ;
    188 ; AVX512CD-LABEL: testv2i64u:
    189 ; AVX512CD:       ## BB#0:
    190 ; AVX512CD-NEXT:    vplzcntq %zmm0, %zmm0
    191 ; AVX512CD-NEXT:    retq
    192 
    193   %out = call <2 x i64> @llvm.ctlz.v2i64(<2 x i64> %in, i1 -1)
    194   ret <2 x i64> %out
    195 }
    196 
    197 define <4 x i32> @testv4i32(<4 x i32> %in) nounwind {
    198 ; SSE2-LABEL: testv4i32:
    199 ; SSE2:       # BB#0:
    200 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[3,1,2,3]
    201 ; SSE2-NEXT:    movd %xmm1, %eax
    202 ; SSE2-NEXT:    bsrl %eax, %eax
    203 ; SSE2-NEXT:    movl $63, %ecx
    204 ; SSE2-NEXT:    cmovel %ecx, %eax
    205 ; SSE2-NEXT:    xorl $31, %eax
    206 ; SSE2-NEXT:    movd %eax, %xmm1
    207 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,2,3]
    208 ; SSE2-NEXT:    movd %xmm2, %eax
    209 ; SSE2-NEXT:    bsrl %eax, %eax
    210 ; SSE2-NEXT:    cmovel %ecx, %eax
    211 ; SSE2-NEXT:    xorl $31, %eax
    212 ; SSE2-NEXT:    movd %eax, %xmm2
    213 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1]
    214 ; SSE2-NEXT:    movd %xmm0, %eax
    215 ; SSE2-NEXT:    bsrl %eax, %eax
    216 ; SSE2-NEXT:    cmovel %ecx, %eax
    217 ; SSE2-NEXT:    xorl $31, %eax
    218 ; SSE2-NEXT:    movd %eax, %xmm1
    219 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
    220 ; SSE2-NEXT:    movd %xmm0, %eax
    221 ; SSE2-NEXT:    bsrl %eax, %eax
    222 ; SSE2-NEXT:    cmovel %ecx, %eax
    223 ; SSE2-NEXT:    xorl $31, %eax
    224 ; SSE2-NEXT:    movd %eax, %xmm0
    225 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[1]
    226 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
    227 ; SSE2-NEXT:    movdqa %xmm1, %xmm0
    228 ; SSE2-NEXT:    retq
    229 ;
    230 ; SSE3-LABEL: testv4i32:
    231 ; SSE3:       # BB#0:
    232 ; SSE3-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[3,1,2,3]
    233 ; SSE3-NEXT:    movd %xmm1, %eax
    234 ; SSE3-NEXT:    bsrl %eax, %eax
    235 ; SSE3-NEXT:    movl $63, %ecx
    236 ; SSE3-NEXT:    cmovel %ecx, %eax
    237 ; SSE3-NEXT:    xorl $31, %eax
    238 ; SSE3-NEXT:    movd %eax, %xmm1
    239 ; SSE3-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,2,3]
    240 ; SSE3-NEXT:    movd %xmm2, %eax
    241 ; SSE3-NEXT:    bsrl %eax, %eax
    242 ; SSE3-NEXT:    cmovel %ecx, %eax
    243 ; SSE3-NEXT:    xorl $31, %eax
    244 ; SSE3-NEXT:    movd %eax, %xmm2
    245 ; SSE3-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1]
    246 ; SSE3-NEXT:    movd %xmm0, %eax
    247 ; SSE3-NEXT:    bsrl %eax, %eax
    248 ; SSE3-NEXT:    cmovel %ecx, %eax
    249 ; SSE3-NEXT:    xorl $31, %eax
    250 ; SSE3-NEXT:    movd %eax, %xmm1
    251 ; SSE3-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
    252 ; SSE3-NEXT:    movd %xmm0, %eax
    253 ; SSE3-NEXT:    bsrl %eax, %eax
    254 ; SSE3-NEXT:    cmovel %ecx, %eax
    255 ; SSE3-NEXT:    xorl $31, %eax
    256 ; SSE3-NEXT:    movd %eax, %xmm0
    257 ; SSE3-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[1]
    258 ; SSE3-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
    259 ; SSE3-NEXT:    movdqa %xmm1, %xmm0
    260 ; SSE3-NEXT:    retq
    261 ;
    262 ; SSSE3-LABEL: testv4i32:
    263 ; SSSE3:       # BB#0:
    264 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[3,1,2,3]
    265 ; SSSE3-NEXT:    movd %xmm1, %eax
    266 ; SSSE3-NEXT:    bsrl %eax, %eax
    267 ; SSSE3-NEXT:    movl $63, %ecx
    268 ; SSSE3-NEXT:    cmovel %ecx, %eax
    269 ; SSSE3-NEXT:    xorl $31, %eax
    270 ; SSSE3-NEXT:    movd %eax, %xmm1
    271 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,2,3]
    272 ; SSSE3-NEXT:    movd %xmm2, %eax
    273 ; SSSE3-NEXT:    bsrl %eax, %eax
    274 ; SSSE3-NEXT:    cmovel %ecx, %eax
    275 ; SSSE3-NEXT:    xorl $31, %eax
    276 ; SSSE3-NEXT:    movd %eax, %xmm2
    277 ; SSSE3-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1]
    278 ; SSSE3-NEXT:    movd %xmm0, %eax
    279 ; SSSE3-NEXT:    bsrl %eax, %eax
    280 ; SSSE3-NEXT:    cmovel %ecx, %eax
    281 ; SSSE3-NEXT:    xorl $31, %eax
    282 ; SSSE3-NEXT:    movd %eax, %xmm1
    283 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
    284 ; SSSE3-NEXT:    movd %xmm0, %eax
    285 ; SSSE3-NEXT:    bsrl %eax, %eax
    286 ; SSSE3-NEXT:    cmovel %ecx, %eax
    287 ; SSSE3-NEXT:    xorl $31, %eax
    288 ; SSSE3-NEXT:    movd %eax, %xmm0
    289 ; SSSE3-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[1]
    290 ; SSSE3-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
    291 ; SSSE3-NEXT:    movdqa %xmm1, %xmm0
    292 ; SSSE3-NEXT:    retq
    293 ;
    294 ; SSE41-LABEL: testv4i32:
    295 ; SSE41:       # BB#0:
    296 ; SSE41-NEXT:    pextrd $1, %xmm0, %eax
    297 ; SSE41-NEXT:    bsrl %eax, %eax
    298 ; SSE41-NEXT:    movl $63, %ecx
    299 ; SSE41-NEXT:    cmovel %ecx, %eax
    300 ; SSE41-NEXT:    xorl $31, %eax
    301 ; SSE41-NEXT:    movd %xmm0, %edx
    302 ; SSE41-NEXT:    bsrl %edx, %edx
    303 ; SSE41-NEXT:    cmovel %ecx, %edx
    304 ; SSE41-NEXT:    xorl $31, %edx
    305 ; SSE41-NEXT:    movd %edx, %xmm1
    306 ; SSE41-NEXT:    pinsrd $1, %eax, %xmm1
    307 ; SSE41-NEXT:    pextrd $2, %xmm0, %eax
    308 ; SSE41-NEXT:    bsrl %eax, %eax
    309 ; SSE41-NEXT:    cmovel %ecx, %eax
    310 ; SSE41-NEXT:    xorl $31, %eax
    311 ; SSE41-NEXT:    pinsrd $2, %eax, %xmm1
    312 ; SSE41-NEXT:    pextrd $3, %xmm0, %eax
    313 ; SSE41-NEXT:    bsrl %eax, %eax
    314 ; SSE41-NEXT:    cmovel %ecx, %eax
    315 ; SSE41-NEXT:    xorl $31, %eax
    316 ; SSE41-NEXT:    pinsrd $3, %eax, %xmm1
    317 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
    318 ; SSE41-NEXT:    retq
    319 ;
    320 ; AVX-LABEL: testv4i32:
    321 ; AVX:       # BB#0:
    322 ; AVX-NEXT:    vpextrd $1, %xmm0, %eax
    323 ; AVX-NEXT:    bsrl %eax, %eax
    324 ; AVX-NEXT:    movl $63, %ecx
    325 ; AVX-NEXT:    cmovel %ecx, %eax
    326 ; AVX-NEXT:    xorl $31, %eax
    327 ; AVX-NEXT:    vmovd %xmm0, %edx
    328 ; AVX-NEXT:    bsrl %edx, %edx
    329 ; AVX-NEXT:    cmovel %ecx, %edx
    330 ; AVX-NEXT:    xorl $31, %edx
    331 ; AVX-NEXT:    vmovd %edx, %xmm1
    332 ; AVX-NEXT:    vpinsrd $1, %eax, %xmm1, %xmm1
    333 ; AVX-NEXT:    vpextrd $2, %xmm0, %eax
    334 ; AVX-NEXT:    bsrl %eax, %eax
    335 ; AVX-NEXT:    cmovel %ecx, %eax
    336 ; AVX-NEXT:    xorl $31, %eax
    337 ; AVX-NEXT:    vpinsrd $2, %eax, %xmm1, %xmm1
    338 ; AVX-NEXT:    vpextrd $3, %xmm0, %eax
    339 ; AVX-NEXT:    bsrl %eax, %eax
    340 ; AVX-NEXT:    cmovel %ecx, %eax
    341 ; AVX-NEXT:    xorl $31, %eax
    342 ; AVX-NEXT:    vpinsrd $3, %eax, %xmm1, %xmm0
    343 ; AVX-NEXT:    retq
    344 ;
    345 ; AVX512VLCD-LABEL: testv4i32:
    346 ; AVX512VLCD:       ## BB#0:
    347 ; AVX512VLCD-NEXT:    vplzcntd %xmm0, %xmm0
    348 ; AVX512VLCD-NEXT:    retq
    349 ;
    350 ; AVX512CD-LABEL: testv4i32:
    351 ; AVX512CD:       ## BB#0:
    352 ; AVX512CD-NEXT:    vplzcntd %zmm0, %zmm0
    353 ; AVX512CD-NEXT:    retq
    354 
    355   %out = call <4 x i32> @llvm.ctlz.v4i32(<4 x i32> %in, i1 0)
    356   ret <4 x i32> %out
    357 }
    358 
    359 define <4 x i32> @testv4i32u(<4 x i32> %in) nounwind {
    360 ; SSE2-LABEL: testv4i32u:
    361 ; SSE2:       # BB#0:
    362 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[3,1,2,3]
    363 ; SSE2-NEXT:    movd %xmm1, %eax
    364 ; SSE2-NEXT:    bsrl %eax, %eax
    365 ; SSE2-NEXT:    xorl $31, %eax
    366 ; SSE2-NEXT:    movd %eax, %xmm1
    367 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,2,3]
    368 ; SSE2-NEXT:    movd %xmm2, %eax
    369 ; SSE2-NEXT:    bsrl %eax, %eax
    370 ; SSE2-NEXT:    xorl $31, %eax
    371 ; SSE2-NEXT:    movd %eax, %xmm2
    372 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1]
    373 ; SSE2-NEXT:    movd %xmm0, %eax
    374 ; SSE2-NEXT:    bsrl %eax, %eax
    375 ; SSE2-NEXT:    xorl $31, %eax
    376 ; SSE2-NEXT:    movd %eax, %xmm1
    377 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
    378 ; SSE2-NEXT:    movd %xmm0, %eax
    379 ; SSE2-NEXT:    bsrl %eax, %eax
    380 ; SSE2-NEXT:    xorl $31, %eax
    381 ; SSE2-NEXT:    movd %eax, %xmm0
    382 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[1]
    383 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
    384 ; SSE2-NEXT:    movdqa %xmm1, %xmm0
    385 ; SSE2-NEXT:    retq
    386 ;
    387 ; SSE3-LABEL: testv4i32u:
    388 ; SSE3:       # BB#0:
    389 ; SSE3-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[3,1,2,3]
    390 ; SSE3-NEXT:    movd %xmm1, %eax
    391 ; SSE3-NEXT:    bsrl %eax, %eax
    392 ; SSE3-NEXT:    xorl $31, %eax
    393 ; SSE3-NEXT:    movd %eax, %xmm1
    394 ; SSE3-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,2,3]
    395 ; SSE3-NEXT:    movd %xmm2, %eax
    396 ; SSE3-NEXT:    bsrl %eax, %eax
    397 ; SSE3-NEXT:    xorl $31, %eax
    398 ; SSE3-NEXT:    movd %eax, %xmm2
    399 ; SSE3-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1]
    400 ; SSE3-NEXT:    movd %xmm0, %eax
    401 ; SSE3-NEXT:    bsrl %eax, %eax
    402 ; SSE3-NEXT:    xorl $31, %eax
    403 ; SSE3-NEXT:    movd %eax, %xmm1
    404 ; SSE3-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
    405 ; SSE3-NEXT:    movd %xmm0, %eax
    406 ; SSE3-NEXT:    bsrl %eax, %eax
    407 ; SSE3-NEXT:    xorl $31, %eax
    408 ; SSE3-NEXT:    movd %eax, %xmm0
    409 ; SSE3-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[1]
    410 ; SSE3-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
    411 ; SSE3-NEXT:    movdqa %xmm1, %xmm0
    412 ; SSE3-NEXT:    retq
    413 ;
    414 ; SSSE3-LABEL: testv4i32u:
    415 ; SSSE3:       # BB#0:
    416 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[3,1,2,3]
    417 ; SSSE3-NEXT:    movd %xmm1, %eax
    418 ; SSSE3-NEXT:    bsrl %eax, %eax
    419 ; SSSE3-NEXT:    xorl $31, %eax
    420 ; SSSE3-NEXT:    movd %eax, %xmm1
    421 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,2,3]
    422 ; SSSE3-NEXT:    movd %xmm2, %eax
    423 ; SSSE3-NEXT:    bsrl %eax, %eax
    424 ; SSSE3-NEXT:    xorl $31, %eax
    425 ; SSSE3-NEXT:    movd %eax, %xmm2
    426 ; SSSE3-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1]
    427 ; SSSE3-NEXT:    movd %xmm0, %eax
    428 ; SSSE3-NEXT:    bsrl %eax, %eax
    429 ; SSSE3-NEXT:    xorl $31, %eax
    430 ; SSSE3-NEXT:    movd %eax, %xmm1
    431 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
    432 ; SSSE3-NEXT:    movd %xmm0, %eax
    433 ; SSSE3-NEXT:    bsrl %eax, %eax
    434 ; SSSE3-NEXT:    xorl $31, %eax
    435 ; SSSE3-NEXT:    movd %eax, %xmm0
    436 ; SSSE3-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[1]
    437 ; SSSE3-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
    438 ; SSSE3-NEXT:    movdqa %xmm1, %xmm0
    439 ; SSSE3-NEXT:    retq
    440 ;
    441 ; SSE41-LABEL: testv4i32u:
    442 ; SSE41:       # BB#0:
    443 ; SSE41-NEXT:    pextrd $1, %xmm0, %eax
    444 ; SSE41-NEXT:    bsrl %eax, %eax
    445 ; SSE41-NEXT:    xorl $31, %eax
    446 ; SSE41-NEXT:    movd %xmm0, %ecx
    447 ; SSE41-NEXT:    bsrl %ecx, %ecx
    448 ; SSE41-NEXT:    xorl $31, %ecx
    449 ; SSE41-NEXT:    movd %ecx, %xmm1
    450 ; SSE41-NEXT:    pinsrd $1, %eax, %xmm1
    451 ; SSE41-NEXT:    pextrd $2, %xmm0, %eax
    452 ; SSE41-NEXT:    bsrl %eax, %eax
    453 ; SSE41-NEXT:    xorl $31, %eax
    454 ; SSE41-NEXT:    pinsrd $2, %eax, %xmm1
    455 ; SSE41-NEXT:    pextrd $3, %xmm0, %eax
    456 ; SSE41-NEXT:    bsrl %eax, %eax
    457 ; SSE41-NEXT:    xorl $31, %eax
    458 ; SSE41-NEXT:    pinsrd $3, %eax, %xmm1
    459 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
    460 ; SSE41-NEXT:    retq
    461 ;
    462 ; AVX-LABEL: testv4i32u:
    463 ; AVX:       # BB#0:
    464 ; AVX-NEXT:    vpextrd $1, %xmm0, %eax
    465 ; AVX-NEXT:    bsrl %eax, %eax
    466 ; AVX-NEXT:    xorl $31, %eax
    467 ; AVX-NEXT:    vmovd %xmm0, %ecx
    468 ; AVX-NEXT:    bsrl %ecx, %ecx
    469 ; AVX-NEXT:    xorl $31, %ecx
    470 ; AVX-NEXT:    vmovd %ecx, %xmm1
    471 ; AVX-NEXT:    vpinsrd $1, %eax, %xmm1, %xmm1
    472 ; AVX-NEXT:    vpextrd $2, %xmm0, %eax
    473 ; AVX-NEXT:    bsrl %eax, %eax
    474 ; AVX-NEXT:    xorl $31, %eax
    475 ; AVX-NEXT:    vpinsrd $2, %eax, %xmm1, %xmm1
    476 ; AVX-NEXT:    vpextrd $3, %xmm0, %eax
    477 ; AVX-NEXT:    bsrl %eax, %eax
    478 ; AVX-NEXT:    xorl $31, %eax
    479 ; AVX-NEXT:    vpinsrd $3, %eax, %xmm1, %xmm0
    480 ; AVX-NEXT:    retq
    481 ;
    482 ; AVX512VLCD-LABEL: testv4i32u:
    483 ; AVX512VLCD:       ## BB#0:
    484 ; AVX512VLCD-NEXT:    vplzcntd %xmm0, %xmm0
    485 ; AVX512VLCD-NEXT:    retq
    486 ;
    487 ; AVX512CD-LABEL: testv4i32u:
    488 ; AVX512CD:       ## BB#0:
    489 ; AVX512CD-NEXT:    vplzcntd %zmm0, %zmm0
    490 ; AVX512CD-NEXT:    retq
    491 
    492   %out = call <4 x i32> @llvm.ctlz.v4i32(<4 x i32> %in, i1 -1)
    493   ret <4 x i32> %out
    494 }
    495 
    496 define <8 x i16> @testv8i16(<8 x i16> %in) nounwind {
    497 ; SSE2-LABEL: testv8i16:
    498 ; SSE2:       # BB#0:
    499 ; SSE2-NEXT:    pextrw $7, %xmm0, %eax
    500 ; SSE2-NEXT:    bsrw %ax, %cx
    501 ; SSE2-NEXT:    movw $31, %ax
    502 ; SSE2-NEXT:    cmovew %ax, %cx
    503 ; SSE2-NEXT:    xorl $15, %ecx
    504 ; SSE2-NEXT:    movd %ecx, %xmm1
    505 ; SSE2-NEXT:    pextrw $3, %xmm0, %ecx
    506 ; SSE2-NEXT:    bsrw %cx, %cx
    507 ; SSE2-NEXT:    cmovew %ax, %cx
    508 ; SSE2-NEXT:    xorl $15, %ecx
    509 ; SSE2-NEXT:    movd %ecx, %xmm2
    510 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1],xmm2[2],xmm1[2],xmm2[3],xmm1[3]
    511 ; SSE2-NEXT:    pextrw $5, %xmm0, %ecx
    512 ; SSE2-NEXT:    bsrw %cx, %cx
    513 ; SSE2-NEXT:    cmovew %ax, %cx
    514 ; SSE2-NEXT:    xorl $15, %ecx
    515 ; SSE2-NEXT:    movd %ecx, %xmm3
    516 ; SSE2-NEXT:    pextrw $1, %xmm0, %ecx
    517 ; SSE2-NEXT:    bsrw %cx, %cx
    518 ; SSE2-NEXT:    cmovew %ax, %cx
    519 ; SSE2-NEXT:    xorl $15, %ecx
    520 ; SSE2-NEXT:    movd %ecx, %xmm1
    521 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1],xmm1[2],xmm3[2],xmm1[3],xmm3[3]
    522 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1],xmm1[2],xmm2[2],xmm1[3],xmm2[3]
    523 ; SSE2-NEXT:    pextrw $6, %xmm0, %ecx
    524 ; SSE2-NEXT:    bsrw %cx, %cx
    525 ; SSE2-NEXT:    cmovew %ax, %cx
    526 ; SSE2-NEXT:    xorl $15, %ecx
    527 ; SSE2-NEXT:    movd %ecx, %xmm2
    528 ; SSE2-NEXT:    pextrw $2, %xmm0, %ecx
    529 ; SSE2-NEXT:    bsrw %cx, %cx
    530 ; SSE2-NEXT:    cmovew %ax, %cx
    531 ; SSE2-NEXT:    xorl $15, %ecx
    532 ; SSE2-NEXT:    movd %ecx, %xmm3
    533 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm3 = xmm3[0],xmm2[0],xmm3[1],xmm2[1],xmm3[2],xmm2[2],xmm3[3],xmm2[3]
    534 ; SSE2-NEXT:    pextrw $4, %xmm0, %ecx
    535 ; SSE2-NEXT:    bsrw %cx, %cx
    536 ; SSE2-NEXT:    cmovew %ax, %cx
    537 ; SSE2-NEXT:    xorl $15, %ecx
    538 ; SSE2-NEXT:    movd %ecx, %xmm2
    539 ; SSE2-NEXT:    movd %xmm0, %ecx
    540 ; SSE2-NEXT:    bsrw %cx, %cx
    541 ; SSE2-NEXT:    cmovew %ax, %cx
    542 ; SSE2-NEXT:    xorl $15, %ecx
    543 ; SSE2-NEXT:    movd %ecx, %xmm0
    544 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1],xmm0[2],xmm2[2],xmm0[3],xmm2[3]
    545 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1],xmm0[2],xmm3[2],xmm0[3],xmm3[3]
    546 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
    547 ; SSE2-NEXT:    retq
    548 ;
    549 ; SSE3-LABEL: testv8i16:
    550 ; SSE3:       # BB#0:
    551 ; SSE3-NEXT:    pextrw $7, %xmm0, %eax
    552 ; SSE3-NEXT:    bsrw %ax, %cx
    553 ; SSE3-NEXT:    movw $31, %ax
    554 ; SSE3-NEXT:    cmovew %ax, %cx
    555 ; SSE3-NEXT:    xorl $15, %ecx
    556 ; SSE3-NEXT:    movd %ecx, %xmm1
    557 ; SSE3-NEXT:    pextrw $3, %xmm0, %ecx
    558 ; SSE3-NEXT:    bsrw %cx, %cx
    559 ; SSE3-NEXT:    cmovew %ax, %cx
    560 ; SSE3-NEXT:    xorl $15, %ecx
    561 ; SSE3-NEXT:    movd %ecx, %xmm2
    562 ; SSE3-NEXT:    punpcklwd {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1],xmm2[2],xmm1[2],xmm2[3],xmm1[3]
    563 ; SSE3-NEXT:    pextrw $5, %xmm0, %ecx
    564 ; SSE3-NEXT:    bsrw %cx, %cx
    565 ; SSE3-NEXT:    cmovew %ax, %cx
    566 ; SSE3-NEXT:    xorl $15, %ecx
    567 ; SSE3-NEXT:    movd %ecx, %xmm3
    568 ; SSE3-NEXT:    pextrw $1, %xmm0, %ecx
    569 ; SSE3-NEXT:    bsrw %cx, %cx
    570 ; SSE3-NEXT:    cmovew %ax, %cx
    571 ; SSE3-NEXT:    xorl $15, %ecx
    572 ; SSE3-NEXT:    movd %ecx, %xmm1
    573 ; SSE3-NEXT:    punpcklwd {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1],xmm1[2],xmm3[2],xmm1[3],xmm3[3]
    574 ; SSE3-NEXT:    punpcklwd {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1],xmm1[2],xmm2[2],xmm1[3],xmm2[3]
    575 ; SSE3-NEXT:    pextrw $6, %xmm0, %ecx
    576 ; SSE3-NEXT:    bsrw %cx, %cx
    577 ; SSE3-NEXT:    cmovew %ax, %cx
    578 ; SSE3-NEXT:    xorl $15, %ecx
    579 ; SSE3-NEXT:    movd %ecx, %xmm2
    580 ; SSE3-NEXT:    pextrw $2, %xmm0, %ecx
    581 ; SSE3-NEXT:    bsrw %cx, %cx
    582 ; SSE3-NEXT:    cmovew %ax, %cx
    583 ; SSE3-NEXT:    xorl $15, %ecx
    584 ; SSE3-NEXT:    movd %ecx, %xmm3
    585 ; SSE3-NEXT:    punpcklwd {{.*#+}} xmm3 = xmm3[0],xmm2[0],xmm3[1],xmm2[1],xmm3[2],xmm2[2],xmm3[3],xmm2[3]
    586 ; SSE3-NEXT:    pextrw $4, %xmm0, %ecx
    587 ; SSE3-NEXT:    bsrw %cx, %cx
    588 ; SSE3-NEXT:    cmovew %ax, %cx
    589 ; SSE3-NEXT:    xorl $15, %ecx
    590 ; SSE3-NEXT:    movd %ecx, %xmm2
    591 ; SSE3-NEXT:    movd %xmm0, %ecx
    592 ; SSE3-NEXT:    bsrw %cx, %cx
    593 ; SSE3-NEXT:    cmovew %ax, %cx
    594 ; SSE3-NEXT:    xorl $15, %ecx
    595 ; SSE3-NEXT:    movd %ecx, %xmm0
    596 ; SSE3-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1],xmm0[2],xmm2[2],xmm0[3],xmm2[3]
    597 ; SSE3-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1],xmm0[2],xmm3[2],xmm0[3],xmm3[3]
    598 ; SSE3-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
    599 ; SSE3-NEXT:    retq
    600 ;
    601 ; SSSE3-LABEL: testv8i16:
    602 ; SSSE3:       # BB#0:
    603 ; SSSE3-NEXT:    pextrw $7, %xmm0, %eax
    604 ; SSSE3-NEXT:    bsrw %ax, %cx
    605 ; SSSE3-NEXT:    movw $31, %ax
    606 ; SSSE3-NEXT:    cmovew %ax, %cx
    607 ; SSSE3-NEXT:    xorl $15, %ecx
    608 ; SSSE3-NEXT:    movd %ecx, %xmm1
    609 ; SSSE3-NEXT:    pextrw $3, %xmm0, %ecx
    610 ; SSSE3-NEXT:    bsrw %cx, %cx
    611 ; SSSE3-NEXT:    cmovew %ax, %cx
    612 ; SSSE3-NEXT:    xorl $15, %ecx
    613 ; SSSE3-NEXT:    movd %ecx, %xmm2
    614 ; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1],xmm2[2],xmm1[2],xmm2[3],xmm1[3]
    615 ; SSSE3-NEXT:    pextrw $5, %xmm0, %ecx
    616 ; SSSE3-NEXT:    bsrw %cx, %cx
    617 ; SSSE3-NEXT:    cmovew %ax, %cx
    618 ; SSSE3-NEXT:    xorl $15, %ecx
    619 ; SSSE3-NEXT:    movd %ecx, %xmm3
    620 ; SSSE3-NEXT:    pextrw $1, %xmm0, %ecx
    621 ; SSSE3-NEXT:    bsrw %cx, %cx
    622 ; SSSE3-NEXT:    cmovew %ax, %cx
    623 ; SSSE3-NEXT:    xorl $15, %ecx
    624 ; SSSE3-NEXT:    movd %ecx, %xmm1
    625 ; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1],xmm1[2],xmm3[2],xmm1[3],xmm3[3]
    626 ; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1],xmm1[2],xmm2[2],xmm1[3],xmm2[3]
    627 ; SSSE3-NEXT:    pextrw $6, %xmm0, %ecx
    628 ; SSSE3-NEXT:    bsrw %cx, %cx
    629 ; SSSE3-NEXT:    cmovew %ax, %cx
    630 ; SSSE3-NEXT:    xorl $15, %ecx
    631 ; SSSE3-NEXT:    movd %ecx, %xmm2
    632 ; SSSE3-NEXT:    pextrw $2, %xmm0, %ecx
    633 ; SSSE3-NEXT:    bsrw %cx, %cx
    634 ; SSSE3-NEXT:    cmovew %ax, %cx
    635 ; SSSE3-NEXT:    xorl $15, %ecx
    636 ; SSSE3-NEXT:    movd %ecx, %xmm3
    637 ; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm3 = xmm3[0],xmm2[0],xmm3[1],xmm2[1],xmm3[2],xmm2[2],xmm3[3],xmm2[3]
    638 ; SSSE3-NEXT:    pextrw $4, %xmm0, %ecx
    639 ; SSSE3-NEXT:    bsrw %cx, %cx
    640 ; SSSE3-NEXT:    cmovew %ax, %cx
    641 ; SSSE3-NEXT:    xorl $15, %ecx
    642 ; SSSE3-NEXT:    movd %ecx, %xmm2
    643 ; SSSE3-NEXT:    movd %xmm0, %ecx
    644 ; SSSE3-NEXT:    bsrw %cx, %cx
    645 ; SSSE3-NEXT:    cmovew %ax, %cx
    646 ; SSSE3-NEXT:    xorl $15, %ecx
    647 ; SSSE3-NEXT:    movd %ecx, %xmm0
    648 ; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1],xmm0[2],xmm2[2],xmm0[3],xmm2[3]
    649 ; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1],xmm0[2],xmm3[2],xmm0[3],xmm3[3]
    650 ; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
    651 ; SSSE3-NEXT:    retq
    652 ;
    653 ; SSE41-LABEL: testv8i16:
    654 ; SSE41:       # BB#0:
    655 ; SSE41-NEXT:    pextrw $1, %xmm0, %eax
    656 ; SSE41-NEXT:    bsrw %ax, %cx
    657 ; SSE41-NEXT:    movw $31, %ax
    658 ; SSE41-NEXT:    cmovew %ax, %cx
    659 ; SSE41-NEXT:    xorl $15, %ecx
    660 ; SSE41-NEXT:    movd %xmm0, %edx
    661 ; SSE41-NEXT:    bsrw %dx, %dx
    662 ; SSE41-NEXT:    cmovew %ax, %dx
    663 ; SSE41-NEXT:    xorl $15, %edx
    664 ; SSE41-NEXT:    movd %edx, %xmm1
    665 ; SSE41-NEXT:    pinsrw $1, %ecx, %xmm1
    666 ; SSE41-NEXT:    pextrw $2, %xmm0, %ecx
    667 ; SSE41-NEXT:    bsrw %cx, %cx
    668 ; SSE41-NEXT:    cmovew %ax, %cx
    669 ; SSE41-NEXT:    xorl $15, %ecx
    670 ; SSE41-NEXT:    pinsrw $2, %ecx, %xmm1
    671 ; SSE41-NEXT:    pextrw $3, %xmm0, %ecx
    672 ; SSE41-NEXT:    bsrw %cx, %cx
    673 ; SSE41-NEXT:    cmovew %ax, %cx
    674 ; SSE41-NEXT:    xorl $15, %ecx
    675 ; SSE41-NEXT:    pinsrw $3, %ecx, %xmm1
    676 ; SSE41-NEXT:    pextrw $4, %xmm0, %ecx
    677 ; SSE41-NEXT:    bsrw %cx, %cx
    678 ; SSE41-NEXT:    cmovew %ax, %cx
    679 ; SSE41-NEXT:    xorl $15, %ecx
    680 ; SSE41-NEXT:    pinsrw $4, %ecx, %xmm1
    681 ; SSE41-NEXT:    pextrw $5, %xmm0, %ecx
    682 ; SSE41-NEXT:    bsrw %cx, %cx
    683 ; SSE41-NEXT:    cmovew %ax, %cx
    684 ; SSE41-NEXT:    xorl $15, %ecx
    685 ; SSE41-NEXT:    pinsrw $5, %ecx, %xmm1
    686 ; SSE41-NEXT:    pextrw $6, %xmm0, %ecx
    687 ; SSE41-NEXT:    bsrw %cx, %cx
    688 ; SSE41-NEXT:    cmovew %ax, %cx
    689 ; SSE41-NEXT:    xorl $15, %ecx
    690 ; SSE41-NEXT:    pinsrw $6, %ecx, %xmm1
    691 ; SSE41-NEXT:    pextrw $7, %xmm0, %ecx
    692 ; SSE41-NEXT:    bsrw %cx, %cx
    693 ; SSE41-NEXT:    cmovew %ax, %cx
    694 ; SSE41-NEXT:    xorl $15, %ecx
    695 ; SSE41-NEXT:    pinsrw $7, %ecx, %xmm1
    696 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
    697 ; SSE41-NEXT:    retq
    698 ;
    699 ; AVX-LABEL: testv8i16:
    700 ; AVX:       # BB#0:
    701 ; AVX-NEXT:    vpextrw $1, %xmm0, %eax
    702 ; AVX-NEXT:    bsrw %ax, %cx
    703 ; AVX-NEXT:    movw $31, %ax
    704 ; AVX-NEXT:    cmovew %ax, %cx
    705 ; AVX-NEXT:    xorl $15, %ecx
    706 ; AVX-NEXT:    vmovd %xmm0, %edx
    707 ; AVX-NEXT:    bsrw %dx, %dx
    708 ; AVX-NEXT:    cmovew %ax, %dx
    709 ; AVX-NEXT:    xorl $15, %edx
    710 ; AVX-NEXT:    vmovd %edx, %xmm1
    711 ; AVX-NEXT:    vpinsrw $1, %ecx, %xmm1, %xmm1
    712 ; AVX-NEXT:    vpextrw $2, %xmm0, %ecx
    713 ; AVX-NEXT:    bsrw %cx, %cx
    714 ; AVX-NEXT:    cmovew %ax, %cx
    715 ; AVX-NEXT:    xorl $15, %ecx
    716 ; AVX-NEXT:    vpinsrw $2, %ecx, %xmm1, %xmm1
    717 ; AVX-NEXT:    vpextrw $3, %xmm0, %ecx
    718 ; AVX-NEXT:    bsrw %cx, %cx
    719 ; AVX-NEXT:    cmovew %ax, %cx
    720 ; AVX-NEXT:    xorl $15, %ecx
    721 ; AVX-NEXT:    vpinsrw $3, %ecx, %xmm1, %xmm1
    722 ; AVX-NEXT:    vpextrw $4, %xmm0, %ecx
    723 ; AVX-NEXT:    bsrw %cx, %cx
    724 ; AVX-NEXT:    cmovew %ax, %cx
    725 ; AVX-NEXT:    xorl $15, %ecx
    726 ; AVX-NEXT:    vpinsrw $4, %ecx, %xmm1, %xmm1
    727 ; AVX-NEXT:    vpextrw $5, %xmm0, %ecx
    728 ; AVX-NEXT:    bsrw %cx, %cx
    729 ; AVX-NEXT:    cmovew %ax, %cx
    730 ; AVX-NEXT:    xorl $15, %ecx
    731 ; AVX-NEXT:    vpinsrw $5, %ecx, %xmm1, %xmm1
    732 ; AVX-NEXT:    vpextrw $6, %xmm0, %ecx
    733 ; AVX-NEXT:    bsrw %cx, %cx
    734 ; AVX-NEXT:    cmovew %ax, %cx
    735 ; AVX-NEXT:    xorl $15, %ecx
    736 ; AVX-NEXT:    vpinsrw $6, %ecx, %xmm1, %xmm1
    737 ; AVX-NEXT:    vpextrw $7, %xmm0, %ecx
    738 ; AVX-NEXT:    bsrw %cx, %cx
    739 ; AVX-NEXT:    cmovew %ax, %cx
    740 ; AVX-NEXT:    xorl $15, %ecx
    741 ; AVX-NEXT:    vpinsrw $7, %ecx, %xmm1, %xmm0
    742 ; AVX-NEXT:    retq
    743 ;
    744 ; AVX512VLCD-LABEL: testv8i16:
    745 ; AVX512VLCD:       ## BB#0:
    746 ; AVX512VLCD-NEXT:    vpmovzxwd %xmm0, %ymm0
    747 ; AVX512VLCD-NEXT:    vplzcntd %ymm0, %ymm0
    748 ; AVX512VLCD-NEXT:    vpmovdw %ymm0, %xmm0
    749 ; AVX512VLCD-NEXT:    vpsubw {{.*}}(%rip), %xmm0, %xmm0
    750 ; AVX512VLCD-NEXT:    retq
    751 ;
    752 ; AVX512CD-LABEL: testv8i16:
    753 ; AVX512CD:       ## BB#0:
    754 ; AVX512CD-NEXT:    vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
    755 ; AVX512CD-NEXT:    vplzcntd %zmm0, %zmm0
    756 ; AVX512CD-NEXT:    vpmovdw %zmm0, %ymm0
    757 ; AVX512CD-NEXT:    vpsubw {{.*}}(%rip), %xmm0, %xmm0
    758 ; AVX512CD-NEXT:    retq
    759   %out = call <8 x i16> @llvm.ctlz.v8i16(<8 x i16> %in, i1 0)
    760   ret <8 x i16> %out
    761 }
    762 
    763 define <8 x i16> @testv8i16u(<8 x i16> %in) nounwind {
    764 ; SSE2-LABEL: testv8i16u:
    765 ; SSE2:       # BB#0:
    766 ; SSE2-NEXT:    pextrw $7, %xmm0, %eax
    767 ; SSE2-NEXT:    bsrw %ax, %ax
    768 ; SSE2-NEXT:    xorl $15, %eax
    769 ; SSE2-NEXT:    movd %eax, %xmm1
    770 ; SSE2-NEXT:    pextrw $3, %xmm0, %eax
    771 ; SSE2-NEXT:    bsrw %ax, %ax
    772 ; SSE2-NEXT:    xorl $15, %eax
    773 ; SSE2-NEXT:    movd %eax, %xmm2
    774 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1],xmm2[2],xmm1[2],xmm2[3],xmm1[3]
    775 ; SSE2-NEXT:    pextrw $5, %xmm0, %eax
    776 ; SSE2-NEXT:    bsrw %ax, %ax
    777 ; SSE2-NEXT:    xorl $15, %eax
    778 ; SSE2-NEXT:    movd %eax, %xmm3
    779 ; SSE2-NEXT:    pextrw $1, %xmm0, %eax
    780 ; SSE2-NEXT:    bsrw %ax, %ax
    781 ; SSE2-NEXT:    xorl $15, %eax
    782 ; SSE2-NEXT:    movd %eax, %xmm1
    783 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1],xmm1[2],xmm3[2],xmm1[3],xmm3[3]
    784 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1],xmm1[2],xmm2[2],xmm1[3],xmm2[3]
    785 ; SSE2-NEXT:    pextrw $6, %xmm0, %eax
    786 ; SSE2-NEXT:    bsrw %ax, %ax
    787 ; SSE2-NEXT:    xorl $15, %eax
    788 ; SSE2-NEXT:    movd %eax, %xmm2
    789 ; SSE2-NEXT:    pextrw $2, %xmm0, %eax
    790 ; SSE2-NEXT:    bsrw %ax, %ax
    791 ; SSE2-NEXT:    xorl $15, %eax
    792 ; SSE2-NEXT:    movd %eax, %xmm3
    793 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm3 = xmm3[0],xmm2[0],xmm3[1],xmm2[1],xmm3[2],xmm2[2],xmm3[3],xmm2[3]
    794 ; SSE2-NEXT:    pextrw $4, %xmm0, %eax
    795 ; SSE2-NEXT:    bsrw %ax, %ax
    796 ; SSE2-NEXT:    xorl $15, %eax
    797 ; SSE2-NEXT:    movd %eax, %xmm2
    798 ; SSE2-NEXT:    movd %xmm0, %eax
    799 ; SSE2-NEXT:    bsrw %ax, %ax
    800 ; SSE2-NEXT:    xorl $15, %eax
    801 ; SSE2-NEXT:    movd %eax, %xmm0
    802 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1],xmm0[2],xmm2[2],xmm0[3],xmm2[3]
    803 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1],xmm0[2],xmm3[2],xmm0[3],xmm3[3]
    804 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
    805 ; SSE2-NEXT:    retq
    806 ;
    807 ; SSE3-LABEL: testv8i16u:
    808 ; SSE3:       # BB#0:
    809 ; SSE3-NEXT:    pextrw $7, %xmm0, %eax
    810 ; SSE3-NEXT:    bsrw %ax, %ax
    811 ; SSE3-NEXT:    xorl $15, %eax
    812 ; SSE3-NEXT:    movd %eax, %xmm1
    813 ; SSE3-NEXT:    pextrw $3, %xmm0, %eax
    814 ; SSE3-NEXT:    bsrw %ax, %ax
    815 ; SSE3-NEXT:    xorl $15, %eax
    816 ; SSE3-NEXT:    movd %eax, %xmm2
    817 ; SSE3-NEXT:    punpcklwd {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1],xmm2[2],xmm1[2],xmm2[3],xmm1[3]
    818 ; SSE3-NEXT:    pextrw $5, %xmm0, %eax
    819 ; SSE3-NEXT:    bsrw %ax, %ax
    820 ; SSE3-NEXT:    xorl $15, %eax
    821 ; SSE3-NEXT:    movd %eax, %xmm3
    822 ; SSE3-NEXT:    pextrw $1, %xmm0, %eax
    823 ; SSE3-NEXT:    bsrw %ax, %ax
    824 ; SSE3-NEXT:    xorl $15, %eax
    825 ; SSE3-NEXT:    movd %eax, %xmm1
    826 ; SSE3-NEXT:    punpcklwd {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1],xmm1[2],xmm3[2],xmm1[3],xmm3[3]
    827 ; SSE3-NEXT:    punpcklwd {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1],xmm1[2],xmm2[2],xmm1[3],xmm2[3]
    828 ; SSE3-NEXT:    pextrw $6, %xmm0, %eax
    829 ; SSE3-NEXT:    bsrw %ax, %ax
    830 ; SSE3-NEXT:    xorl $15, %eax
    831 ; SSE3-NEXT:    movd %eax, %xmm2
    832 ; SSE3-NEXT:    pextrw $2, %xmm0, %eax
    833 ; SSE3-NEXT:    bsrw %ax, %ax
    834 ; SSE3-NEXT:    xorl $15, %eax
    835 ; SSE3-NEXT:    movd %eax, %xmm3
    836 ; SSE3-NEXT:    punpcklwd {{.*#+}} xmm3 = xmm3[0],xmm2[0],xmm3[1],xmm2[1],xmm3[2],xmm2[2],xmm3[3],xmm2[3]
    837 ; SSE3-NEXT:    pextrw $4, %xmm0, %eax
    838 ; SSE3-NEXT:    bsrw %ax, %ax
    839 ; SSE3-NEXT:    xorl $15, %eax
    840 ; SSE3-NEXT:    movd %eax, %xmm2
    841 ; SSE3-NEXT:    movd %xmm0, %eax
    842 ; SSE3-NEXT:    bsrw %ax, %ax
    843 ; SSE3-NEXT:    xorl $15, %eax
    844 ; SSE3-NEXT:    movd %eax, %xmm0
    845 ; SSE3-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1],xmm0[2],xmm2[2],xmm0[3],xmm2[3]
    846 ; SSE3-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1],xmm0[2],xmm3[2],xmm0[3],xmm3[3]
    847 ; SSE3-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
    848 ; SSE3-NEXT:    retq
    849 ;
    850 ; SSSE3-LABEL: testv8i16u:
    851 ; SSSE3:       # BB#0:
    852 ; SSSE3-NEXT:    pextrw $7, %xmm0, %eax
    853 ; SSSE3-NEXT:    bsrw %ax, %ax
    854 ; SSSE3-NEXT:    xorl $15, %eax
    855 ; SSSE3-NEXT:    movd %eax, %xmm1
    856 ; SSSE3-NEXT:    pextrw $3, %xmm0, %eax
    857 ; SSSE3-NEXT:    bsrw %ax, %ax
    858 ; SSSE3-NEXT:    xorl $15, %eax
    859 ; SSSE3-NEXT:    movd %eax, %xmm2
    860 ; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1],xmm2[2],xmm1[2],xmm2[3],xmm1[3]
    861 ; SSSE3-NEXT:    pextrw $5, %xmm0, %eax
    862 ; SSSE3-NEXT:    bsrw %ax, %ax
    863 ; SSSE3-NEXT:    xorl $15, %eax
    864 ; SSSE3-NEXT:    movd %eax, %xmm3
    865 ; SSSE3-NEXT:    pextrw $1, %xmm0, %eax
    866 ; SSSE3-NEXT:    bsrw %ax, %ax
    867 ; SSSE3-NEXT:    xorl $15, %eax
    868 ; SSSE3-NEXT:    movd %eax, %xmm1
    869 ; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1],xmm1[2],xmm3[2],xmm1[3],xmm3[3]
    870 ; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1],xmm1[2],xmm2[2],xmm1[3],xmm2[3]
    871 ; SSSE3-NEXT:    pextrw $6, %xmm0, %eax
    872 ; SSSE3-NEXT:    bsrw %ax, %ax
    873 ; SSSE3-NEXT:    xorl $15, %eax
    874 ; SSSE3-NEXT:    movd %eax, %xmm2
    875 ; SSSE3-NEXT:    pextrw $2, %xmm0, %eax
    876 ; SSSE3-NEXT:    bsrw %ax, %ax
    877 ; SSSE3-NEXT:    xorl $15, %eax
    878 ; SSSE3-NEXT:    movd %eax, %xmm3
    879 ; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm3 = xmm3[0],xmm2[0],xmm3[1],xmm2[1],xmm3[2],xmm2[2],xmm3[3],xmm2[3]
    880 ; SSSE3-NEXT:    pextrw $4, %xmm0, %eax
    881 ; SSSE3-NEXT:    bsrw %ax, %ax
    882 ; SSSE3-NEXT:    xorl $15, %eax
    883 ; SSSE3-NEXT:    movd %eax, %xmm2
    884 ; SSSE3-NEXT:    movd %xmm0, %eax
    885 ; SSSE3-NEXT:    bsrw %ax, %ax
    886 ; SSSE3-NEXT:    xorl $15, %eax
    887 ; SSSE3-NEXT:    movd %eax, %xmm0
    888 ; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1],xmm0[2],xmm2[2],xmm0[3],xmm2[3]
    889 ; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1],xmm0[2],xmm3[2],xmm0[3],xmm3[3]
    890 ; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
    891 ; SSSE3-NEXT:    retq
    892 ;
    893 ; SSE41-LABEL: testv8i16u:
    894 ; SSE41:       # BB#0:
    895 ; SSE41-NEXT:    pextrw $1, %xmm0, %eax
    896 ; SSE41-NEXT:    bsrw %ax, %ax
    897 ; SSE41-NEXT:    xorl $15, %eax
    898 ; SSE41-NEXT:    movd %xmm0, %ecx
    899 ; SSE41-NEXT:    bsrw %cx, %cx
    900 ; SSE41-NEXT:    xorl $15, %ecx
    901 ; SSE41-NEXT:    movd %ecx, %xmm1
    902 ; SSE41-NEXT:    pinsrw $1, %eax, %xmm1
    903 ; SSE41-NEXT:    pextrw $2, %xmm0, %eax
    904 ; SSE41-NEXT:    bsrw %ax, %ax
    905 ; SSE41-NEXT:    xorl $15, %eax
    906 ; SSE41-NEXT:    pinsrw $2, %eax, %xmm1
    907 ; SSE41-NEXT:    pextrw $3, %xmm0, %eax
    908 ; SSE41-NEXT:    bsrw %ax, %ax
    909 ; SSE41-NEXT:    xorl $15, %eax
    910 ; SSE41-NEXT:    pinsrw $3, %eax, %xmm1
    911 ; SSE41-NEXT:    pextrw $4, %xmm0, %eax
    912 ; SSE41-NEXT:    bsrw %ax, %ax
    913 ; SSE41-NEXT:    xorl $15, %eax
    914 ; SSE41-NEXT:    pinsrw $4, %eax, %xmm1
    915 ; SSE41-NEXT:    pextrw $5, %xmm0, %eax
    916 ; SSE41-NEXT:    bsrw %ax, %ax
    917 ; SSE41-NEXT:    xorl $15, %eax
    918 ; SSE41-NEXT:    pinsrw $5, %eax, %xmm1
    919 ; SSE41-NEXT:    pextrw $6, %xmm0, %eax
    920 ; SSE41-NEXT:    bsrw %ax, %ax
    921 ; SSE41-NEXT:    xorl $15, %eax
    922 ; SSE41-NEXT:    pinsrw $6, %eax, %xmm1
    923 ; SSE41-NEXT:    pextrw $7, %xmm0, %eax
    924 ; SSE41-NEXT:    bsrw %ax, %ax
    925 ; SSE41-NEXT:    xorl $15, %eax
    926 ; SSE41-NEXT:    pinsrw $7, %eax, %xmm1
    927 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
    928 ; SSE41-NEXT:    retq
    929 ;
    930 ; AVX-LABEL: testv8i16u:
    931 ; AVX:       # BB#0:
    932 ; AVX-NEXT:    vpextrw $1, %xmm0, %eax
    933 ; AVX-NEXT:    bsrw %ax, %ax
    934 ; AVX-NEXT:    xorl $15, %eax
    935 ; AVX-NEXT:    vmovd %xmm0, %ecx
    936 ; AVX-NEXT:    bsrw %cx, %cx
    937 ; AVX-NEXT:    xorl $15, %ecx
    938 ; AVX-NEXT:    vmovd %ecx, %xmm1
    939 ; AVX-NEXT:    vpinsrw $1, %eax, %xmm1, %xmm1
    940 ; AVX-NEXT:    vpextrw $2, %xmm0, %eax
    941 ; AVX-NEXT:    bsrw %ax, %ax
    942 ; AVX-NEXT:    xorl $15, %eax
    943 ; AVX-NEXT:    vpinsrw $2, %eax, %xmm1, %xmm1
    944 ; AVX-NEXT:    vpextrw $3, %xmm0, %eax
    945 ; AVX-NEXT:    bsrw %ax, %ax
    946 ; AVX-NEXT:    xorl $15, %eax
    947 ; AVX-NEXT:    vpinsrw $3, %eax, %xmm1, %xmm1
    948 ; AVX-NEXT:    vpextrw $4, %xmm0, %eax
    949 ; AVX-NEXT:    bsrw %ax, %ax
    950 ; AVX-NEXT:    xorl $15, %eax
    951 ; AVX-NEXT:    vpinsrw $4, %eax, %xmm1, %xmm1
    952 ; AVX-NEXT:    vpextrw $5, %xmm0, %eax
    953 ; AVX-NEXT:    bsrw %ax, %ax
    954 ; AVX-NEXT:    xorl $15, %eax
    955 ; AVX-NEXT:    vpinsrw $5, %eax, %xmm1, %xmm1
    956 ; AVX-NEXT:    vpextrw $6, %xmm0, %eax
    957 ; AVX-NEXT:    bsrw %ax, %ax
    958 ; AVX-NEXT:    xorl $15, %eax
    959 ; AVX-NEXT:    vpinsrw $6, %eax, %xmm1, %xmm1
    960 ; AVX-NEXT:    vpextrw $7, %xmm0, %eax
    961 ; AVX-NEXT:    bsrw %ax, %ax
    962 ; AVX-NEXT:    xorl $15, %eax
    963 ; AVX-NEXT:    vpinsrw $7, %eax, %xmm1, %xmm0
    964 ; AVX-NEXT:    retq
    965 ;
    966 ; AVX512VLCD-LABEL: testv8i16u:
    967 ; AVX512VLCD:       ## BB#0:
    968 ; AVX512VLCD-NEXT:    vpmovzxwd %xmm0, %ymm0
    969 ; AVX512VLCD-NEXT:    vplzcntd %ymm0, %ymm0
    970 ; AVX512VLCD-NEXT:    vpmovdw %ymm0, %xmm0
    971 ; AVX512VLCD-NEXT:    vpsubw {{.*}}(%rip), %xmm0, %xmm0
    972 ; AVX512VLCD-NEXT:    retq
    973 ;
    974 ; AVX512CD-LABEL: testv8i16u:
    975 ; AVX512CD:       ## BB#0:
    976 ; AVX512CD-NEXT:    vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
    977 ; AVX512CD-NEXT:    vplzcntd %zmm0, %zmm0
    978 ; AVX512CD-NEXT:    vpmovdw %zmm0, %ymm0
    979 ; AVX512CD-NEXT:    vpsubw {{.*}}(%rip), %xmm0, %xmm0
    980 ; AVX512CD-NEXT:    retq
    981   %out = call <8 x i16> @llvm.ctlz.v8i16(<8 x i16> %in, i1 -1)
    982   ret <8 x i16> %out
    983 }
    984 
    985 define <16 x i8> @testv16i8(<16 x i8> %in) nounwind {
    986 ; SSE2-LABEL: testv16i8:
    987 ; SSE2:       # BB#0:
    988 ; SSE2-NEXT:    pushq %rbp
    989 ; SSE2-NEXT:    pushq %rbx
    990 ; SSE2-NEXT:    movaps %xmm0, -{{[0-9]+}}(%rsp)
    991 ; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax
    992 ; SSE2-NEXT:    bsrl %eax, %ecx
    993 ; SSE2-NEXT:    movl $15, %eax
    994 ; SSE2-NEXT:    cmovel %eax, %ecx
    995 ; SSE2-NEXT:    xorl $7, %ecx
    996 ; SSE2-NEXT:    movd %ecx, %xmm0
    997 ; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ebx
    998 ; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %edi
    999 ; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r9d
   1000 ; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %edx
   1001 ; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r11d
   1002 ; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %esi
   1003 ; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r8d
   1004 ; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx
   1005 ; SSE2-NEXT:    bsrl %ecx, %ecx
   1006 ; SSE2-NEXT:    cmovel %eax, %ecx
   1007 ; SSE2-NEXT:    xorl $7, %ecx
   1008 ; SSE2-NEXT:    movd %ecx, %xmm1
   1009 ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[1],xmm1[2],xmm0[2],xmm1[3],xmm0[3],xmm1[4],xmm0[4],xmm1[5],xmm0[5],xmm1[6],xmm0[6],xmm1[7],xmm0[7]
   1010 ; SSE2-NEXT:    bsrl %edx, %ecx
   1011 ; SSE2-NEXT:    cmovel %eax, %ecx
   1012 ; SSE2-NEXT:    xorl $7, %ecx
   1013 ; SSE2-NEXT:    movd %ecx, %xmm2
   1014 ; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %edx
   1015 ; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx
   1016 ; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r10d
   1017 ; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ebp
   1018 ; SSE2-NEXT:    bsrl %ebp, %ebp
   1019 ; SSE2-NEXT:    cmovel %eax, %ebp
   1020 ; SSE2-NEXT:    xorl $7, %ebp
   1021 ; SSE2-NEXT:    movd %ebp, %xmm0
   1022 ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1],xmm0[2],xmm2[2],xmm0[3],xmm2[3],xmm0[4],xmm2[4],xmm0[5],xmm2[5],xmm0[6],xmm2[6],xmm0[7],xmm2[7]
   1023 ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
   1024 ; SSE2-NEXT:    bsrl %edi, %edi
   1025 ; SSE2-NEXT:    cmovel %eax, %edi
   1026 ; SSE2-NEXT:    xorl $7, %edi
   1027 ; SSE2-NEXT:    movd %edi, %xmm1
   1028 ; SSE2-NEXT:    bsrl %ecx, %ecx
   1029 ; SSE2-NEXT:    cmovel %eax, %ecx
   1030 ; SSE2-NEXT:    xorl $7, %ecx
   1031 ; SSE2-NEXT:    movd %ecx, %xmm2
   1032 ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1],xmm2[2],xmm1[2],xmm2[3],xmm1[3],xmm2[4],xmm1[4],xmm2[5],xmm1[5],xmm2[6],xmm1[6],xmm2[7],xmm1[7]
   1033 ; SSE2-NEXT:    bsrl %esi, %ecx
   1034 ; SSE2-NEXT:    cmovel %eax, %ecx
   1035 ; SSE2-NEXT:    xorl $7, %ecx
   1036 ; SSE2-NEXT:    movd %ecx, %xmm3
   1037 ; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %esi
   1038 ; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx
   1039 ; SSE2-NEXT:    bsrl %ecx, %ecx
   1040 ; SSE2-NEXT:    cmovel %eax, %ecx
   1041 ; SSE2-NEXT:    xorl $7, %ecx
   1042 ; SSE2-NEXT:    movd %ecx, %xmm1
   1043 ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1],xmm1[2],xmm3[2],xmm1[3],xmm3[3],xmm1[4],xmm3[4],xmm1[5],xmm3[5],xmm1[6],xmm3[6],xmm1[7],xmm3[7]
   1044 ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1],xmm1[2],xmm2[2],xmm1[3],xmm2[3],xmm1[4],xmm2[4],xmm1[5],xmm2[5],xmm1[6],xmm2[6],xmm1[7],xmm2[7]
   1045 ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[1],xmm1[2],xmm0[2],xmm1[3],xmm0[3],xmm1[4],xmm0[4],xmm1[5],xmm0[5],xmm1[6],xmm0[6],xmm1[7],xmm0[7]
   1046 ; SSE2-NEXT:    bsrl %ebx, %ecx
   1047 ; SSE2-NEXT:    cmovel %eax, %ecx
   1048 ; SSE2-NEXT:    xorl $7, %ecx
   1049 ; SSE2-NEXT:    movd %ecx, %xmm0
   1050 ; SSE2-NEXT:    bsrl %edx, %ecx
   1051 ; SSE2-NEXT:    cmovel %eax, %ecx
   1052 ; SSE2-NEXT:    xorl $7, %ecx
   1053 ; SSE2-NEXT:    movd %ecx, %xmm3
   1054 ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm3 = xmm3[0],xmm0[0],xmm3[1],xmm0[1],xmm3[2],xmm0[2],xmm3[3],xmm0[3],xmm3[4],xmm0[4],xmm3[5],xmm0[5],xmm3[6],xmm0[6],xmm3[7],xmm0[7]
   1055 ; SSE2-NEXT:    bsrl %r11d, %ecx
   1056 ; SSE2-NEXT:    cmovel %eax, %ecx
   1057 ; SSE2-NEXT:    xorl $7, %ecx
   1058 ; SSE2-NEXT:    movd %ecx, %xmm0
   1059 ; SSE2-NEXT:    bsrl %esi, %ecx
   1060 ; SSE2-NEXT:    cmovel %eax, %ecx
   1061 ; SSE2-NEXT:    xorl $7, %ecx
   1062 ; SSE2-NEXT:    movd %ecx, %xmm2
   1063 ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[1],xmm2[2],xmm0[2],xmm2[3],xmm0[3],xmm2[4],xmm0[4],xmm2[5],xmm0[5],xmm2[6],xmm0[6],xmm2[7],xmm0[7]
   1064 ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm3[0],xmm2[1],xmm3[1],xmm2[2],xmm3[2],xmm2[3],xmm3[3],xmm2[4],xmm3[4],xmm2[5],xmm3[5],xmm2[6],xmm3[6],xmm2[7],xmm3[7]
   1065 ; SSE2-NEXT:    bsrl %r9d, %ecx
   1066 ; SSE2-NEXT:    cmovel %eax, %ecx
   1067 ; SSE2-NEXT:    xorl $7, %ecx
   1068 ; SSE2-NEXT:    movd %ecx, %xmm0
   1069 ; SSE2-NEXT:    bsrl %r10d, %ecx
   1070 ; SSE2-NEXT:    cmovel %eax, %ecx
   1071 ; SSE2-NEXT:    xorl $7, %ecx
   1072 ; SSE2-NEXT:    movd %ecx, %xmm3
   1073 ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm3 = xmm3[0],xmm0[0],xmm3[1],xmm0[1],xmm3[2],xmm0[2],xmm3[3],xmm0[3],xmm3[4],xmm0[4],xmm3[5],xmm0[5],xmm3[6],xmm0[6],xmm3[7],xmm0[7]
   1074 ; SSE2-NEXT:    bsrl %r8d, %ecx
   1075 ; SSE2-NEXT:    cmovel %eax, %ecx
   1076 ; SSE2-NEXT:    xorl $7, %ecx
   1077 ; SSE2-NEXT:    movd %ecx, %xmm4
   1078 ; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx
   1079 ; SSE2-NEXT:    bsrl %ecx, %ecx
   1080 ; SSE2-NEXT:    cmovel %eax, %ecx
   1081 ; SSE2-NEXT:    xorl $7, %ecx
   1082 ; SSE2-NEXT:    movd %ecx, %xmm0
   1083 ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm4[0],xmm0[1],xmm4[1],xmm0[2],xmm4[2],xmm0[3],xmm4[3],xmm0[4],xmm4[4],xmm0[5],xmm4[5],xmm0[6],xmm4[6],xmm0[7],xmm4[7]
   1084 ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1],xmm0[2],xmm3[2],xmm0[3],xmm3[3],xmm0[4],xmm3[4],xmm0[5],xmm3[5],xmm0[6],xmm3[6],xmm0[7],xmm3[7]
   1085 ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1],xmm0[2],xmm2[2],xmm0[3],xmm2[3],xmm0[4],xmm2[4],xmm0[5],xmm2[5],xmm0[6],xmm2[6],xmm0[7],xmm2[7]
   1086 ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
   1087 ; SSE2-NEXT:    popq %rbx
   1088 ; SSE2-NEXT:    popq %rbp
   1089 ; SSE2-NEXT:    retq
   1090 ;
   1091 ; SSE3-LABEL: testv16i8:
   1092 ; SSE3:       # BB#0:
   1093 ; SSE3-NEXT:    pushq %rbp
   1094 ; SSE3-NEXT:    pushq %rbx
   1095 ; SSE3-NEXT:    movaps %xmm0, -{{[0-9]+}}(%rsp)
   1096 ; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax
   1097 ; SSE3-NEXT:    bsrl %eax, %ecx
   1098 ; SSE3-NEXT:    movl $15, %eax
   1099 ; SSE3-NEXT:    cmovel %eax, %ecx
   1100 ; SSE3-NEXT:    xorl $7, %ecx
   1101 ; SSE3-NEXT:    movd %ecx, %xmm0
   1102 ; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ebx
   1103 ; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %edi
   1104 ; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r9d
   1105 ; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %edx
   1106 ; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r11d
   1107 ; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %esi
   1108 ; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r8d
   1109 ; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx
   1110 ; SSE3-NEXT:    bsrl %ecx, %ecx
   1111 ; SSE3-NEXT:    cmovel %eax, %ecx
   1112 ; SSE3-NEXT:    xorl $7, %ecx
   1113 ; SSE3-NEXT:    movd %ecx, %xmm1
   1114 ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[1],xmm1[2],xmm0[2],xmm1[3],xmm0[3],xmm1[4],xmm0[4],xmm1[5],xmm0[5],xmm1[6],xmm0[6],xmm1[7],xmm0[7]
   1115 ; SSE3-NEXT:    bsrl %edx, %ecx
   1116 ; SSE3-NEXT:    cmovel %eax, %ecx
   1117 ; SSE3-NEXT:    xorl $7, %ecx
   1118 ; SSE3-NEXT:    movd %ecx, %xmm2
   1119 ; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %edx
   1120 ; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx
   1121 ; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r10d
   1122 ; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ebp
   1123 ; SSE3-NEXT:    bsrl %ebp, %ebp
   1124 ; SSE3-NEXT:    cmovel %eax, %ebp
   1125 ; SSE3-NEXT:    xorl $7, %ebp
   1126 ; SSE3-NEXT:    movd %ebp, %xmm0
   1127 ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1],xmm0[2],xmm2[2],xmm0[3],xmm2[3],xmm0[4],xmm2[4],xmm0[5],xmm2[5],xmm0[6],xmm2[6],xmm0[7],xmm2[7]
   1128 ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
   1129 ; SSE3-NEXT:    bsrl %edi, %edi
   1130 ; SSE3-NEXT:    cmovel %eax, %edi
   1131 ; SSE3-NEXT:    xorl $7, %edi
   1132 ; SSE3-NEXT:    movd %edi, %xmm1
   1133 ; SSE3-NEXT:    bsrl %ecx, %ecx
   1134 ; SSE3-NEXT:    cmovel %eax, %ecx
   1135 ; SSE3-NEXT:    xorl $7, %ecx
   1136 ; SSE3-NEXT:    movd %ecx, %xmm2
   1137 ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1],xmm2[2],xmm1[2],xmm2[3],xmm1[3],xmm2[4],xmm1[4],xmm2[5],xmm1[5],xmm2[6],xmm1[6],xmm2[7],xmm1[7]
   1138 ; SSE3-NEXT:    bsrl %esi, %ecx
   1139 ; SSE3-NEXT:    cmovel %eax, %ecx
   1140 ; SSE3-NEXT:    xorl $7, %ecx
   1141 ; SSE3-NEXT:    movd %ecx, %xmm3
   1142 ; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %esi
   1143 ; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx
   1144 ; SSE3-NEXT:    bsrl %ecx, %ecx
   1145 ; SSE3-NEXT:    cmovel %eax, %ecx
   1146 ; SSE3-NEXT:    xorl $7, %ecx
   1147 ; SSE3-NEXT:    movd %ecx, %xmm1
   1148 ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1],xmm1[2],xmm3[2],xmm1[3],xmm3[3],xmm1[4],xmm3[4],xmm1[5],xmm3[5],xmm1[6],xmm3[6],xmm1[7],xmm3[7]
   1149 ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1],xmm1[2],xmm2[2],xmm1[3],xmm2[3],xmm1[4],xmm2[4],xmm1[5],xmm2[5],xmm1[6],xmm2[6],xmm1[7],xmm2[7]
   1150 ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[1],xmm1[2],xmm0[2],xmm1[3],xmm0[3],xmm1[4],xmm0[4],xmm1[5],xmm0[5],xmm1[6],xmm0[6],xmm1[7],xmm0[7]
   1151 ; SSE3-NEXT:    bsrl %ebx, %ecx
   1152 ; SSE3-NEXT:    cmovel %eax, %ecx
   1153 ; SSE3-NEXT:    xorl $7, %ecx
   1154 ; SSE3-NEXT:    movd %ecx, %xmm0
   1155 ; SSE3-NEXT:    bsrl %edx, %ecx
   1156 ; SSE3-NEXT:    cmovel %eax, %ecx
   1157 ; SSE3-NEXT:    xorl $7, %ecx
   1158 ; SSE3-NEXT:    movd %ecx, %xmm3
   1159 ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm3 = xmm3[0],xmm0[0],xmm3[1],xmm0[1],xmm3[2],xmm0[2],xmm3[3],xmm0[3],xmm3[4],xmm0[4],xmm3[5],xmm0[5],xmm3[6],xmm0[6],xmm3[7],xmm0[7]
   1160 ; SSE3-NEXT:    bsrl %r11d, %ecx
   1161 ; SSE3-NEXT:    cmovel %eax, %ecx
   1162 ; SSE3-NEXT:    xorl $7, %ecx
   1163 ; SSE3-NEXT:    movd %ecx, %xmm0
   1164 ; SSE3-NEXT:    bsrl %esi, %ecx
   1165 ; SSE3-NEXT:    cmovel %eax, %ecx
   1166 ; SSE3-NEXT:    xorl $7, %ecx
   1167 ; SSE3-NEXT:    movd %ecx, %xmm2
   1168 ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[1],xmm2[2],xmm0[2],xmm2[3],xmm0[3],xmm2[4],xmm0[4],xmm2[5],xmm0[5],xmm2[6],xmm0[6],xmm2[7],xmm0[7]
   1169 ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm3[0],xmm2[1],xmm3[1],xmm2[2],xmm3[2],xmm2[3],xmm3[3],xmm2[4],xmm3[4],xmm2[5],xmm3[5],xmm2[6],xmm3[6],xmm2[7],xmm3[7]
   1170 ; SSE3-NEXT:    bsrl %r9d, %ecx
   1171 ; SSE3-NEXT:    cmovel %eax, %ecx
   1172 ; SSE3-NEXT:    xorl $7, %ecx
   1173 ; SSE3-NEXT:    movd %ecx, %xmm0
   1174 ; SSE3-NEXT:    bsrl %r10d, %ecx
   1175 ; SSE3-NEXT:    cmovel %eax, %ecx
   1176 ; SSE3-NEXT:    xorl $7, %ecx
   1177 ; SSE3-NEXT:    movd %ecx, %xmm3
   1178 ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm3 = xmm3[0],xmm0[0],xmm3[1],xmm0[1],xmm3[2],xmm0[2],xmm3[3],xmm0[3],xmm3[4],xmm0[4],xmm3[5],xmm0[5],xmm3[6],xmm0[6],xmm3[7],xmm0[7]
   1179 ; SSE3-NEXT:    bsrl %r8d, %ecx
   1180 ; SSE3-NEXT:    cmovel %eax, %ecx
   1181 ; SSE3-NEXT:    xorl $7, %ecx
   1182 ; SSE3-NEXT:    movd %ecx, %xmm4
   1183 ; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx
   1184 ; SSE3-NEXT:    bsrl %ecx, %ecx
   1185 ; SSE3-NEXT:    cmovel %eax, %ecx
   1186 ; SSE3-NEXT:    xorl $7, %ecx
   1187 ; SSE3-NEXT:    movd %ecx, %xmm0
   1188 ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm4[0],xmm0[1],xmm4[1],xmm0[2],xmm4[2],xmm0[3],xmm4[3],xmm0[4],xmm4[4],xmm0[5],xmm4[5],xmm0[6],xmm4[6],xmm0[7],xmm4[7]
   1189 ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1],xmm0[2],xmm3[2],xmm0[3],xmm3[3],xmm0[4],xmm3[4],xmm0[5],xmm3[5],xmm0[6],xmm3[6],xmm0[7],xmm3[7]
   1190 ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1],xmm0[2],xmm2[2],xmm0[3],xmm2[3],xmm0[4],xmm2[4],xmm0[5],xmm2[5],xmm0[6],xmm2[6],xmm0[7],xmm2[7]
   1191 ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
   1192 ; SSE3-NEXT:    popq %rbx
   1193 ; SSE3-NEXT:    popq %rbp
   1194 ; SSE3-NEXT:    retq
   1195 ;
   1196 ; SSSE3-LABEL: testv16i8:
   1197 ; SSSE3:       # BB#0:
   1198 ; SSSE3-NEXT:    pushq %rbp
   1199 ; SSSE3-NEXT:    pushq %rbx
   1200 ; SSSE3-NEXT:    movaps %xmm0, -{{[0-9]+}}(%rsp)
   1201 ; SSSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax
   1202 ; SSSE3-NEXT:    bsrl %eax, %ecx
   1203 ; SSSE3-NEXT:    movl $15, %eax
   1204 ; SSSE3-NEXT:    cmovel %eax, %ecx
   1205 ; SSSE3-NEXT:    xorl $7, %ecx
   1206 ; SSSE3-NEXT:    movd %ecx, %xmm0
   1207 ; SSSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ebx
   1208 ; SSSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %edi
   1209 ; SSSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r9d
   1210 ; SSSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %edx
   1211 ; SSSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r11d
   1212 ; SSSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %esi
   1213 ; SSSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r8d
   1214 ; SSSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx
   1215 ; SSSE3-NEXT:    bsrl %ecx, %ecx
   1216 ; SSSE3-NEXT:    cmovel %eax, %ecx
   1217 ; SSSE3-NEXT:    xorl $7, %ecx
   1218 ; SSSE3-NEXT:    movd %ecx, %xmm1
   1219 ; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[1],xmm1[2],xmm0[2],xmm1[3],xmm0[3],xmm1[4],xmm0[4],xmm1[5],xmm0[5],xmm1[6],xmm0[6],xmm1[7],xmm0[7]
   1220 ; SSSE3-NEXT:    bsrl %edx, %ecx
   1221 ; SSSE3-NEXT:    cmovel %eax, %ecx
   1222 ; SSSE3-NEXT:    xorl $7, %ecx
   1223 ; SSSE3-NEXT:    movd %ecx, %xmm2
   1224 ; SSSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %edx
   1225 ; SSSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx
   1226 ; SSSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r10d
   1227 ; SSSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ebp
   1228 ; SSSE3-NEXT:    bsrl %ebp, %ebp
   1229 ; SSSE3-NEXT:    cmovel %eax, %ebp
   1230 ; SSSE3-NEXT:    xorl $7, %ebp
   1231 ; SSSE3-NEXT:    movd %ebp, %xmm0
   1232 ; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1],xmm0[2],xmm2[2],xmm0[3],xmm2[3],xmm0[4],xmm2[4],xmm0[5],xmm2[5],xmm0[6],xmm2[6],xmm0[7],xmm2[7]
   1233 ; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
   1234 ; SSSE3-NEXT:    bsrl %edi, %edi
   1235 ; SSSE3-NEXT:    cmovel %eax, %edi
   1236 ; SSSE3-NEXT:    xorl $7, %edi
   1237 ; SSSE3-NEXT:    movd %edi, %xmm1
   1238 ; SSSE3-NEXT:    bsrl %ecx, %ecx
   1239 ; SSSE3-NEXT:    cmovel %eax, %ecx
   1240 ; SSSE3-NEXT:    xorl $7, %ecx
   1241 ; SSSE3-NEXT:    movd %ecx, %xmm2
   1242 ; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1],xmm2[2],xmm1[2],xmm2[3],xmm1[3],xmm2[4],xmm1[4],xmm2[5],xmm1[5],xmm2[6],xmm1[6],xmm2[7],xmm1[7]
   1243 ; SSSE3-NEXT:    bsrl %esi, %ecx
   1244 ; SSSE3-NEXT:    cmovel %eax, %ecx
   1245 ; SSSE3-NEXT:    xorl $7, %ecx
   1246 ; SSSE3-NEXT:    movd %ecx, %xmm3
   1247 ; SSSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %esi
   1248 ; SSSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx
   1249 ; SSSE3-NEXT:    bsrl %ecx, %ecx
   1250 ; SSSE3-NEXT:    cmovel %eax, %ecx
   1251 ; SSSE3-NEXT:    xorl $7, %ecx
   1252 ; SSSE3-NEXT:    movd %ecx, %xmm1
   1253 ; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1],xmm1[2],xmm3[2],xmm1[3],xmm3[3],xmm1[4],xmm3[4],xmm1[5],xmm3[5],xmm1[6],xmm3[6],xmm1[7],xmm3[7]
   1254 ; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1],xmm1[2],xmm2[2],xmm1[3],xmm2[3],xmm1[4],xmm2[4],xmm1[5],xmm2[5],xmm1[6],xmm2[6],xmm1[7],xmm2[7]
   1255 ; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[1],xmm1[2],xmm0[2],xmm1[3],xmm0[3],xmm1[4],xmm0[4],xmm1[5],xmm0[5],xmm1[6],xmm0[6],xmm1[7],xmm0[7]
   1256 ; SSSE3-NEXT:    bsrl %ebx, %ecx
   1257 ; SSSE3-NEXT:    cmovel %eax, %ecx
   1258 ; SSSE3-NEXT:    xorl $7, %ecx
   1259 ; SSSE3-NEXT:    movd %ecx, %xmm0
   1260 ; SSSE3-NEXT:    bsrl %edx, %ecx
   1261 ; SSSE3-NEXT:    cmovel %eax, %ecx
   1262 ; SSSE3-NEXT:    xorl $7, %ecx
   1263 ; SSSE3-NEXT:    movd %ecx, %xmm3
   1264 ; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm3 = xmm3[0],xmm0[0],xmm3[1],xmm0[1],xmm3[2],xmm0[2],xmm3[3],xmm0[3],xmm3[4],xmm0[4],xmm3[5],xmm0[5],xmm3[6],xmm0[6],xmm3[7],xmm0[7]
   1265 ; SSSE3-NEXT:    bsrl %r11d, %ecx
   1266 ; SSSE3-NEXT:    cmovel %eax, %ecx
   1267 ; SSSE3-NEXT:    xorl $7, %ecx
   1268 ; SSSE3-NEXT:    movd %ecx, %xmm0
   1269 ; SSSE3-NEXT:    bsrl %esi, %ecx
   1270 ; SSSE3-NEXT:    cmovel %eax, %ecx
   1271 ; SSSE3-NEXT:    xorl $7, %ecx
   1272 ; SSSE3-NEXT:    movd %ecx, %xmm2
   1273 ; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[1],xmm2[2],xmm0[2],xmm2[3],xmm0[3],xmm2[4],xmm0[4],xmm2[5],xmm0[5],xmm2[6],xmm0[6],xmm2[7],xmm0[7]
   1274 ; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm3[0],xmm2[1],xmm3[1],xmm2[2],xmm3[2],xmm2[3],xmm3[3],xmm2[4],xmm3[4],xmm2[5],xmm3[5],xmm2[6],xmm3[6],xmm2[7],xmm3[7]
   1275 ; SSSE3-NEXT:    bsrl %r9d, %ecx
   1276 ; SSSE3-NEXT:    cmovel %eax, %ecx
   1277 ; SSSE3-NEXT:    xorl $7, %ecx
   1278 ; SSSE3-NEXT:    movd %ecx, %xmm0
   1279 ; SSSE3-NEXT:    bsrl %r10d, %ecx
   1280 ; SSSE3-NEXT:    cmovel %eax, %ecx
   1281 ; SSSE3-NEXT:    xorl $7, %ecx
   1282 ; SSSE3-NEXT:    movd %ecx, %xmm3
   1283 ; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm3 = xmm3[0],xmm0[0],xmm3[1],xmm0[1],xmm3[2],xmm0[2],xmm3[3],xmm0[3],xmm3[4],xmm0[4],xmm3[5],xmm0[5],xmm3[6],xmm0[6],xmm3[7],xmm0[7]
   1284 ; SSSE3-NEXT:    bsrl %r8d, %ecx
   1285 ; SSSE3-NEXT:    cmovel %eax, %ecx
   1286 ; SSSE3-NEXT:    xorl $7, %ecx
   1287 ; SSSE3-NEXT:    movd %ecx, %xmm4
   1288 ; SSSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx
   1289 ; SSSE3-NEXT:    bsrl %ecx, %ecx
   1290 ; SSSE3-NEXT:    cmovel %eax, %ecx
   1291 ; SSSE3-NEXT:    xorl $7, %ecx
   1292 ; SSSE3-NEXT:    movd %ecx, %xmm0
   1293 ; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm4[0],xmm0[1],xmm4[1],xmm0[2],xmm4[2],xmm0[3],xmm4[3],xmm0[4],xmm4[4],xmm0[5],xmm4[5],xmm0[6],xmm4[6],xmm0[7],xmm4[7]
   1294 ; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1],xmm0[2],xmm3[2],xmm0[3],xmm3[3],xmm0[4],xmm3[4],xmm0[5],xmm3[5],xmm0[6],xmm3[6],xmm0[7],xmm3[7]
   1295 ; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1],xmm0[2],xmm2[2],xmm0[3],xmm2[3],xmm0[4],xmm2[4],xmm0[5],xmm2[5],xmm0[6],xmm2[6],xmm0[7],xmm2[7]
   1296 ; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
   1297 ; SSSE3-NEXT:    popq %rbx
   1298 ; SSSE3-NEXT:    popq %rbp
   1299 ; SSSE3-NEXT:    retq
   1300 ;
   1301 ; SSE41-LABEL: testv16i8:
   1302 ; SSE41:       # BB#0:
   1303 ; SSE41-NEXT:    pextrb $1, %xmm0, %eax
   1304 ; SSE41-NEXT:    bsrl %eax, %ecx
   1305 ; SSE41-NEXT:    movl $15, %eax
   1306 ; SSE41-NEXT:    cmovel %eax, %ecx
   1307 ; SSE41-NEXT:    xorl $7, %ecx
   1308 ; SSE41-NEXT:    pextrb $0, %xmm0, %edx
   1309 ; SSE41-NEXT:    bsrl %edx, %edx
   1310 ; SSE41-NEXT:    cmovel %eax, %edx
   1311 ; SSE41-NEXT:    xorl $7, %edx
   1312 ; SSE41-NEXT:    movd %edx, %xmm1
   1313 ; SSE41-NEXT:    pinsrb $1, %ecx, %xmm1
   1314 ; SSE41-NEXT:    pextrb $2, %xmm0, %ecx
   1315 ; SSE41-NEXT:    bsrl %ecx, %ecx
   1316 ; SSE41-NEXT:    cmovel %eax, %ecx
   1317 ; SSE41-NEXT:    xorl $7, %ecx
   1318 ; SSE41-NEXT:    pinsrb $2, %ecx, %xmm1
   1319 ; SSE41-NEXT:    pextrb $3, %xmm0, %ecx
   1320 ; SSE41-NEXT:    bsrl %ecx, %ecx
   1321 ; SSE41-NEXT:    cmovel %eax, %ecx
   1322 ; SSE41-NEXT:    xorl $7, %ecx
   1323 ; SSE41-NEXT:    pinsrb $3, %ecx, %xmm1
   1324 ; SSE41-NEXT:    pextrb $4, %xmm0, %ecx
   1325 ; SSE41-NEXT:    bsrl %ecx, %ecx
   1326 ; SSE41-NEXT:    cmovel %eax, %ecx
   1327 ; SSE41-NEXT:    xorl $7, %ecx
   1328 ; SSE41-NEXT:    pinsrb $4, %ecx, %xmm1
   1329 ; SSE41-NEXT:    pextrb $5, %xmm0, %ecx
   1330 ; SSE41-NEXT:    bsrl %ecx, %ecx
   1331 ; SSE41-NEXT:    cmovel %eax, %ecx
   1332 ; SSE41-NEXT:    xorl $7, %ecx
   1333 ; SSE41-NEXT:    pinsrb $5, %ecx, %xmm1
   1334 ; SSE41-NEXT:    pextrb $6, %xmm0, %ecx
   1335 ; SSE41-NEXT:    bsrl %ecx, %ecx
   1336 ; SSE41-NEXT:    cmovel %eax, %ecx
   1337 ; SSE41-NEXT:    xorl $7, %ecx
   1338 ; SSE41-NEXT:    pinsrb $6, %ecx, %xmm1
   1339 ; SSE41-NEXT:    pextrb $7, %xmm0, %ecx
   1340 ; SSE41-NEXT:    bsrl %ecx, %ecx
   1341 ; SSE41-NEXT:    cmovel %eax, %ecx
   1342 ; SSE41-NEXT:    xorl $7, %ecx
   1343 ; SSE41-NEXT:    pinsrb $7, %ecx, %xmm1
   1344 ; SSE41-NEXT:    pextrb $8, %xmm0, %ecx
   1345 ; SSE41-NEXT:    bsrl %ecx, %ecx
   1346 ; SSE41-NEXT:    cmovel %eax, %ecx
   1347 ; SSE41-NEXT:    xorl $7, %ecx
   1348 ; SSE41-NEXT:    pinsrb $8, %ecx, %xmm1
   1349 ; SSE41-NEXT:    pextrb $9, %xmm0, %ecx
   1350 ; SSE41-NEXT:    bsrl %ecx, %ecx
   1351 ; SSE41-NEXT:    cmovel %eax, %ecx
   1352 ; SSE41-NEXT:    xorl $7, %ecx
   1353 ; SSE41-NEXT:    pinsrb $9, %ecx, %xmm1
   1354 ; SSE41-NEXT:    pextrb $10, %xmm0, %ecx
   1355 ; SSE41-NEXT:    bsrl %ecx, %ecx
   1356 ; SSE41-NEXT:    cmovel %eax, %ecx
   1357 ; SSE41-NEXT:    xorl $7, %ecx
   1358 ; SSE41-NEXT:    pinsrb $10, %ecx, %xmm1
   1359 ; SSE41-NEXT:    pextrb $11, %xmm0, %ecx
   1360 ; SSE41-NEXT:    bsrl %ecx, %ecx
   1361 ; SSE41-NEXT:    cmovel %eax, %ecx
   1362 ; SSE41-NEXT:    xorl $7, %ecx
   1363 ; SSE41-NEXT:    pinsrb $11, %ecx, %xmm1
   1364 ; SSE41-NEXT:    pextrb $12, %xmm0, %ecx
   1365 ; SSE41-NEXT:    bsrl %ecx, %ecx
   1366 ; SSE41-NEXT:    cmovel %eax, %ecx
   1367 ; SSE41-NEXT:    xorl $7, %ecx
   1368 ; SSE41-NEXT:    pinsrb $12, %ecx, %xmm1
   1369 ; SSE41-NEXT:    pextrb $13, %xmm0, %ecx
   1370 ; SSE41-NEXT:    bsrl %ecx, %ecx
   1371 ; SSE41-NEXT:    cmovel %eax, %ecx
   1372 ; SSE41-NEXT:    xorl $7, %ecx
   1373 ; SSE41-NEXT:    pinsrb $13, %ecx, %xmm1
   1374 ; SSE41-NEXT:    pextrb $14, %xmm0, %ecx
   1375 ; SSE41-NEXT:    bsrl %ecx, %ecx
   1376 ; SSE41-NEXT:    cmovel %eax, %ecx
   1377 ; SSE41-NEXT:    xorl $7, %ecx
   1378 ; SSE41-NEXT:    pinsrb $14, %ecx, %xmm1
   1379 ; SSE41-NEXT:    pextrb $15, %xmm0, %ecx
   1380 ; SSE41-NEXT:    bsrl %ecx, %ecx
   1381 ; SSE41-NEXT:    cmovel %eax, %ecx
   1382 ; SSE41-NEXT:    xorl $7, %ecx
   1383 ; SSE41-NEXT:    pinsrb $15, %ecx, %xmm1
   1384 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
   1385 ; SSE41-NEXT:    retq
   1386 ;
   1387 ; AVX-LABEL: testv16i8:
   1388 ; AVX:       # BB#0:
   1389 ; AVX-NEXT:    vpextrb $1, %xmm0, %eax
   1390 ; AVX-NEXT:    bsrl %eax, %ecx
   1391 ; AVX-NEXT:    movl $15, %eax
   1392 ; AVX-NEXT:    cmovel %eax, %ecx
   1393 ; AVX-NEXT:    xorl $7, %ecx
   1394 ; AVX-NEXT:    vpextrb $0, %xmm0, %edx
   1395 ; AVX-NEXT:    bsrl %edx, %edx
   1396 ; AVX-NEXT:    cmovel %eax, %edx
   1397 ; AVX-NEXT:    xorl $7, %edx
   1398 ; AVX-NEXT:    vmovd %edx, %xmm1
   1399 ; AVX-NEXT:    vpinsrb $1, %ecx, %xmm1, %xmm1
   1400 ; AVX-NEXT:    vpextrb $2, %xmm0, %ecx
   1401 ; AVX-NEXT:    bsrl %ecx, %ecx
   1402 ; AVX-NEXT:    cmovel %eax, %ecx
   1403 ; AVX-NEXT:    xorl $7, %ecx
   1404 ; AVX-NEXT:    vpinsrb $2, %ecx, %xmm1, %xmm1
   1405 ; AVX-NEXT:    vpextrb $3, %xmm0, %ecx
   1406 ; AVX-NEXT:    bsrl %ecx, %ecx
   1407 ; AVX-NEXT:    cmovel %eax, %ecx
   1408 ; AVX-NEXT:    xorl $7, %ecx
   1409 ; AVX-NEXT:    vpinsrb $3, %ecx, %xmm1, %xmm1
   1410 ; AVX-NEXT:    vpextrb $4, %xmm0, %ecx
   1411 ; AVX-NEXT:    bsrl %ecx, %ecx
   1412 ; AVX-NEXT:    cmovel %eax, %ecx
   1413 ; AVX-NEXT:    xorl $7, %ecx
   1414 ; AVX-NEXT:    vpinsrb $4, %ecx, %xmm1, %xmm1
   1415 ; AVX-NEXT:    vpextrb $5, %xmm0, %ecx
   1416 ; AVX-NEXT:    bsrl %ecx, %ecx
   1417 ; AVX-NEXT:    cmovel %eax, %ecx
   1418 ; AVX-NEXT:    xorl $7, %ecx
   1419 ; AVX-NEXT:    vpinsrb $5, %ecx, %xmm1, %xmm1
   1420 ; AVX-NEXT:    vpextrb $6, %xmm0, %ecx
   1421 ; AVX-NEXT:    bsrl %ecx, %ecx
   1422 ; AVX-NEXT:    cmovel %eax, %ecx
   1423 ; AVX-NEXT:    xorl $7, %ecx
   1424 ; AVX-NEXT:    vpinsrb $6, %ecx, %xmm1, %xmm1
   1425 ; AVX-NEXT:    vpextrb $7, %xmm0, %ecx
   1426 ; AVX-NEXT:    bsrl %ecx, %ecx
   1427 ; AVX-NEXT:    cmovel %eax, %ecx
   1428 ; AVX-NEXT:    xorl $7, %ecx
   1429 ; AVX-NEXT:    vpinsrb $7, %ecx, %xmm1, %xmm1
   1430 ; AVX-NEXT:    vpextrb $8, %xmm0, %ecx
   1431 ; AVX-NEXT:    bsrl %ecx, %ecx
   1432 ; AVX-NEXT:    cmovel %eax, %ecx
   1433 ; AVX-NEXT:    xorl $7, %ecx
   1434 ; AVX-NEXT:    vpinsrb $8, %ecx, %xmm1, %xmm1
   1435 ; AVX-NEXT:    vpextrb $9, %xmm0, %ecx
   1436 ; AVX-NEXT:    bsrl %ecx, %ecx
   1437 ; AVX-NEXT:    cmovel %eax, %ecx
   1438 ; AVX-NEXT:    xorl $7, %ecx
   1439 ; AVX-NEXT:    vpinsrb $9, %ecx, %xmm1, %xmm1
   1440 ; AVX-NEXT:    vpextrb $10, %xmm0, %ecx
   1441 ; AVX-NEXT:    bsrl %ecx, %ecx
   1442 ; AVX-NEXT:    cmovel %eax, %ecx
   1443 ; AVX-NEXT:    xorl $7, %ecx
   1444 ; AVX-NEXT:    vpinsrb $10, %ecx, %xmm1, %xmm1
   1445 ; AVX-NEXT:    vpextrb $11, %xmm0, %ecx
   1446 ; AVX-NEXT:    bsrl %ecx, %ecx
   1447 ; AVX-NEXT:    cmovel %eax, %ecx
   1448 ; AVX-NEXT:    xorl $7, %ecx
   1449 ; AVX-NEXT:    vpinsrb $11, %ecx, %xmm1, %xmm1
   1450 ; AVX-NEXT:    vpextrb $12, %xmm0, %ecx
   1451 ; AVX-NEXT:    bsrl %ecx, %ecx
   1452 ; AVX-NEXT:    cmovel %eax, %ecx
   1453 ; AVX-NEXT:    xorl $7, %ecx
   1454 ; AVX-NEXT:    vpinsrb $12, %ecx, %xmm1, %xmm1
   1455 ; AVX-NEXT:    vpextrb $13, %xmm0, %ecx
   1456 ; AVX-NEXT:    bsrl %ecx, %ecx
   1457 ; AVX-NEXT:    cmovel %eax, %ecx
   1458 ; AVX-NEXT:    xorl $7, %ecx
   1459 ; AVX-NEXT:    vpinsrb $13, %ecx, %xmm1, %xmm1
   1460 ; AVX-NEXT:    vpextrb $14, %xmm0, %ecx
   1461 ; AVX-NEXT:    bsrl %ecx, %ecx
   1462 ; AVX-NEXT:    cmovel %eax, %ecx
   1463 ; AVX-NEXT:    xorl $7, %ecx
   1464 ; AVX-NEXT:    vpinsrb $14, %ecx, %xmm1, %xmm1
   1465 ; AVX-NEXT:    vpextrb $15, %xmm0, %ecx
   1466 ; AVX-NEXT:    bsrl %ecx, %ecx
   1467 ; AVX-NEXT:    cmovel %eax, %ecx
   1468 ; AVX-NEXT:    xorl $7, %ecx
   1469 ; AVX-NEXT:    vpinsrb $15, %ecx, %xmm1, %xmm0
   1470 ; AVX-NEXT:    retq
   1471 ;
   1472 ; AVX512VLCD-LABEL: testv16i8:
   1473 ; AVX512VLCD:       ## BB#0:
   1474 ; AVX512VLCD-NEXT:    vpmovzxbd %xmm0, %zmm0
   1475 ; AVX512VLCD-NEXT:    vplzcntd %zmm0, %zmm0
   1476 ; AVX512VLCD-NEXT:    vpmovdb %zmm0, %xmm0
   1477 ; AVX512VLCD-NEXT:    vpsubb {{.*}}(%rip), %xmm0, %xmm0
   1478 ; AVX512VLCD-NEXT:    retq
   1479 ;
   1480 ; AVX512CD-LABEL: testv16i8:
   1481 ; AVX512CD:       ## BB#0:
   1482 ; AVX512CD-NEXT:    vpmovzxbd %xmm0, %zmm0
   1483 ; AVX512CD-NEXT:    vplzcntd %zmm0, %zmm0
   1484 ; AVX512CD-NEXT:    vpmovdb %zmm0, %xmm0
   1485 ; AVX512CD-NEXT:    vpsubb {{.*}}(%rip), %xmm0, %xmm0
   1486 ; AVX512CD-NEXT:    retq
   1487   %out = call <16 x i8> @llvm.ctlz.v16i8(<16 x i8> %in, i1 0)
   1488   ret <16 x i8> %out
   1489 }
   1490 
   1491 define <16 x i8> @testv16i8u(<16 x i8> %in) nounwind {
   1492 ; SSE2-LABEL: testv16i8u:
   1493 ; SSE2:       # BB#0:
   1494 ; SSE2-NEXT:    pushq %rbx
   1495 ; SSE2-NEXT:    movaps %xmm0, -{{[0-9]+}}(%rsp)
   1496 ; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax
   1497 ; SSE2-NEXT:    bsrl %eax, %eax
   1498 ; SSE2-NEXT:    xorl $7, %eax
   1499 ; SSE2-NEXT:    movd %eax, %xmm0
   1500 ; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %edi
   1501 ; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %edx
   1502 ; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r9d
   1503 ; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax
   1504 ; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r10d
   1505 ; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx
   1506 ; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r8d
   1507 ; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %esi
   1508 ; SSE2-NEXT:    bsrl %esi, %esi
   1509 ; SSE2-NEXT:    xorl $7, %esi
   1510 ; SSE2-NEXT:    movd %esi, %xmm1
   1511 ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[1],xmm1[2],xmm0[2],xmm1[3],xmm0[3],xmm1[4],xmm0[4],xmm1[5],xmm0[5],xmm1[6],xmm0[6],xmm1[7],xmm0[7]
   1512 ; SSE2-NEXT:    bsrl %eax, %eax
   1513 ; SSE2-NEXT:    xorl $7, %eax
   1514 ; SSE2-NEXT:    movd %eax, %xmm0
   1515 ; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax
   1516 ; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %esi
   1517 ; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r11d
   1518 ; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ebx
   1519 ; SSE2-NEXT:    bsrl %ebx, %ebx
   1520 ; SSE2-NEXT:    xorl $7, %ebx
   1521 ; SSE2-NEXT:    movd %ebx, %xmm2
   1522 ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[1],xmm2[2],xmm0[2],xmm2[3],xmm0[3],xmm2[4],xmm0[4],xmm2[5],xmm0[5],xmm2[6],xmm0[6],xmm2[7],xmm0[7]
   1523 ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1],xmm2[2],xmm1[2],xmm2[3],xmm1[3],xmm2[4],xmm1[4],xmm2[5],xmm1[5],xmm2[6],xmm1[6],xmm2[7],xmm1[7]
   1524 ; SSE2-NEXT:    bsrl %edx, %edx
   1525 ; SSE2-NEXT:    xorl $7, %edx
   1526 ; SSE2-NEXT:    movd %edx, %xmm0
   1527 ; SSE2-NEXT:    bsrl %esi, %edx
   1528 ; SSE2-NEXT:    xorl $7, %edx
   1529 ; SSE2-NEXT:    movd %edx, %xmm3
   1530 ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm3 = xmm3[0],xmm0[0],xmm3[1],xmm0[1],xmm3[2],xmm0[2],xmm3[3],xmm0[3],xmm3[4],xmm0[4],xmm3[5],xmm0[5],xmm3[6],xmm0[6],xmm3[7],xmm0[7]
   1531 ; SSE2-NEXT:    bsrl %ecx, %ecx
   1532 ; SSE2-NEXT:    xorl $7, %ecx
   1533 ; SSE2-NEXT:    movd %ecx, %xmm0
   1534 ; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx
   1535 ; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %edx
   1536 ; SSE2-NEXT:    bsrl %edx, %edx
   1537 ; SSE2-NEXT:    xorl $7, %edx
   1538 ; SSE2-NEXT:    movd %edx, %xmm1
   1539 ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[1],xmm1[2],xmm0[2],xmm1[3],xmm0[3],xmm1[4],xmm0[4],xmm1[5],xmm0[5],xmm1[6],xmm0[6],xmm1[7],xmm0[7]
   1540 ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1],xmm1[2],xmm3[2],xmm1[3],xmm3[3],xmm1[4],xmm3[4],xmm1[5],xmm3[5],xmm1[6],xmm3[6],xmm1[7],xmm3[7]
   1541 ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1],xmm1[2],xmm2[2],xmm1[3],xmm2[3],xmm1[4],xmm2[4],xmm1[5],xmm2[5],xmm1[6],xmm2[6],xmm1[7],xmm2[7]
   1542 ; SSE2-NEXT:    bsrl %edi, %edx
   1543 ; SSE2-NEXT:    xorl $7, %edx
   1544 ; SSE2-NEXT:    movd %edx, %xmm0
   1545 ; SSE2-NEXT:    bsrl %eax, %eax
   1546 ; SSE2-NEXT:    xorl $7, %eax
   1547 ; SSE2-NEXT:    movd %eax, %xmm2
   1548 ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[1],xmm2[2],xmm0[2],xmm2[3],xmm0[3],xmm2[4],xmm0[4],xmm2[5],xmm0[5],xmm2[6],xmm0[6],xmm2[7],xmm0[7]
   1549 ; SSE2-NEXT:    bsrl %r10d, %eax
   1550 ; SSE2-NEXT:    xorl $7, %eax
   1551 ; SSE2-NEXT:    movd %eax, %xmm0
   1552 ; SSE2-NEXT:    bsrl %ecx, %eax
   1553 ; SSE2-NEXT:    xorl $7, %eax
   1554 ; SSE2-NEXT:    movd %eax, %xmm3
   1555 ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm3 = xmm3[0],xmm0[0],xmm3[1],xmm0[1],xmm3[2],xmm0[2],xmm3[3],xmm0[3],xmm3[4],xmm0[4],xmm3[5],xmm0[5],xmm3[6],xmm0[6],xmm3[7],xmm0[7]
   1556 ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm3 = xmm3[0],xmm2[0],xmm3[1],xmm2[1],xmm3[2],xmm2[2],xmm3[3],xmm2[3],xmm3[4],xmm2[4],xmm3[5],xmm2[5],xmm3[6],xmm2[6],xmm3[7],xmm2[7]
   1557 ; SSE2-NEXT:    bsrl %r9d, %eax
   1558 ; SSE2-NEXT:    xorl $7, %eax
   1559 ; SSE2-NEXT:    movd %eax, %xmm0
   1560 ; SSE2-NEXT:    bsrl %r11d, %eax
   1561 ; SSE2-NEXT:    xorl $7, %eax
   1562 ; SSE2-NEXT:    movd %eax, %xmm2
   1563 ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[1],xmm2[2],xmm0[2],xmm2[3],xmm0[3],xmm2[4],xmm0[4],xmm2[5],xmm0[5],xmm2[6],xmm0[6],xmm2[7],xmm0[7]
   1564 ; SSE2-NEXT:    bsrl %r8d, %eax
   1565 ; SSE2-NEXT:    xorl $7, %eax
   1566 ; SSE2-NEXT:    movd %eax, %xmm4
   1567 ; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax
   1568 ; SSE2-NEXT:    bsrl %eax, %eax
   1569 ; SSE2-NEXT:    xorl $7, %eax
   1570 ; SSE2-NEXT:    movd %eax, %xmm0
   1571 ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm4[0],xmm0[1],xmm4[1],xmm0[2],xmm4[2],xmm0[3],xmm4[3],xmm0[4],xmm4[4],xmm0[5],xmm4[5],xmm0[6],xmm4[6],xmm0[7],xmm4[7]
   1572 ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1],xmm0[2],xmm2[2],xmm0[3],xmm2[3],xmm0[4],xmm2[4],xmm0[5],xmm2[5],xmm0[6],xmm2[6],xmm0[7],xmm2[7]
   1573 ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1],xmm0[2],xmm3[2],xmm0[3],xmm3[3],xmm0[4],xmm3[4],xmm0[5],xmm3[5],xmm0[6],xmm3[6],xmm0[7],xmm3[7]
   1574 ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
   1575 ; SSE2-NEXT:    popq %rbx
   1576 ; SSE2-NEXT:    retq
   1577 ;
   1578 ; SSE3-LABEL: testv16i8u:
   1579 ; SSE3:       # BB#0:
   1580 ; SSE3-NEXT:    pushq %rbx
   1581 ; SSE3-NEXT:    movaps %xmm0, -{{[0-9]+}}(%rsp)
   1582 ; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax
   1583 ; SSE3-NEXT:    bsrl %eax, %eax
   1584 ; SSE3-NEXT:    xorl $7, %eax
   1585 ; SSE3-NEXT:    movd %eax, %xmm0
   1586 ; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %edi
   1587 ; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %edx
   1588 ; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r9d
   1589 ; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax
   1590 ; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r10d
   1591 ; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx
   1592 ; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r8d
   1593 ; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %esi
   1594 ; SSE3-NEXT:    bsrl %esi, %esi
   1595 ; SSE3-NEXT:    xorl $7, %esi
   1596 ; SSE3-NEXT:    movd %esi, %xmm1
   1597 ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[1],xmm1[2],xmm0[2],xmm1[3],xmm0[3],xmm1[4],xmm0[4],xmm1[5],xmm0[5],xmm1[6],xmm0[6],xmm1[7],xmm0[7]
   1598 ; SSE3-NEXT:    bsrl %eax, %eax
   1599 ; SSE3-NEXT:    xorl $7, %eax
   1600 ; SSE3-NEXT:    movd %eax, %xmm0
   1601 ; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax
   1602 ; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %esi
   1603 ; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r11d
   1604 ; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ebx
   1605 ; SSE3-NEXT:    bsrl %ebx, %ebx
   1606 ; SSE3-NEXT:    xorl $7, %ebx
   1607 ; SSE3-NEXT:    movd %ebx, %xmm2
   1608 ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[1],xmm2[2],xmm0[2],xmm2[3],xmm0[3],xmm2[4],xmm0[4],xmm2[5],xmm0[5],xmm2[6],xmm0[6],xmm2[7],xmm0[7]
   1609 ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1],xmm2[2],xmm1[2],xmm2[3],xmm1[3],xmm2[4],xmm1[4],xmm2[5],xmm1[5],xmm2[6],xmm1[6],xmm2[7],xmm1[7]
   1610 ; SSE3-NEXT:    bsrl %edx, %edx
   1611 ; SSE3-NEXT:    xorl $7, %edx
   1612 ; SSE3-NEXT:    movd %edx, %xmm0
   1613 ; SSE3-NEXT:    bsrl %esi, %edx
   1614 ; SSE3-NEXT:    xorl $7, %edx
   1615 ; SSE3-NEXT:    movd %edx, %xmm3
   1616 ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm3 = xmm3[0],xmm0[0],xmm3[1],xmm0[1],xmm3[2],xmm0[2],xmm3[3],xmm0[3],xmm3[4],xmm0[4],xmm3[5],xmm0[5],xmm3[6],xmm0[6],xmm3[7],xmm0[7]
   1617 ; SSE3-NEXT:    bsrl %ecx, %ecx
   1618 ; SSE3-NEXT:    xorl $7, %ecx
   1619 ; SSE3-NEXT:    movd %ecx, %xmm0
   1620 ; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx
   1621 ; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %edx
   1622 ; SSE3-NEXT:    bsrl %edx, %edx
   1623 ; SSE3-NEXT:    xorl $7, %edx
   1624 ; SSE3-NEXT:    movd %edx, %xmm1
   1625 ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[1],xmm1[2],xmm0[2],xmm1[3],xmm0[3],xmm1[4],xmm0[4],xmm1[5],xmm0[5],xmm1[6],xmm0[6],xmm1[7],xmm0[7]
   1626 ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1],xmm1[2],xmm3[2],xmm1[3],xmm3[3],xmm1[4],xmm3[4],xmm1[5],xmm3[5],xmm1[6],xmm3[6],xmm1[7],xmm3[7]
   1627 ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1],xmm1[2],xmm2[2],xmm1[3],xmm2[3],xmm1[4],xmm2[4],xmm1[5],xmm2[5],xmm1[6],xmm2[6],xmm1[7],xmm2[7]
   1628 ; SSE3-NEXT:    bsrl %edi, %edx
   1629 ; SSE3-NEXT:    xorl $7, %edx
   1630 ; SSE3-NEXT:    movd %edx, %xmm0
   1631 ; SSE3-NEXT:    bsrl %eax, %eax
   1632 ; SSE3-NEXT:    xorl $7, %eax
   1633 ; SSE3-NEXT:    movd %eax, %xmm2
   1634 ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[1],xmm2[2],xmm0[2],xmm2[3],xmm0[3],xmm2[4],xmm0[4],xmm2[5],xmm0[5],xmm2[6],xmm0[6],xmm2[7],xmm0[7]
   1635 ; SSE3-NEXT:    bsrl %r10d, %eax
   1636 ; SSE3-NEXT:    xorl $7, %eax
   1637 ; SSE3-NEXT:    movd %eax, %xmm0
   1638 ; SSE3-NEXT:    bsrl %ecx, %eax
   1639 ; SSE3-NEXT:    xorl $7, %eax
   1640 ; SSE3-NEXT:    movd %eax, %xmm3
   1641 ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm3 = xmm3[0],xmm0[0],xmm3[1],xmm0[1],xmm3[2],xmm0[2],xmm3[3],xmm0[3],xmm3[4],xmm0[4],xmm3[5],xmm0[5],xmm3[6],xmm0[6],xmm3[7],xmm0[7]
   1642 ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm3 = xmm3[0],xmm2[0],xmm3[1],xmm2[1],xmm3[2],xmm2[2],xmm3[3],xmm2[3],xmm3[4],xmm2[4],xmm3[5],xmm2[5],xmm3[6],xmm2[6],xmm3[7],xmm2[7]
   1643 ; SSE3-NEXT:    bsrl %r9d, %eax
   1644 ; SSE3-NEXT:    xorl $7, %eax
   1645 ; SSE3-NEXT:    movd %eax, %xmm0
   1646 ; SSE3-NEXT:    bsrl %r11d, %eax
   1647 ; SSE3-NEXT:    xorl $7, %eax
   1648 ; SSE3-NEXT:    movd %eax, %xmm2
   1649 ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[1],xmm2[2],xmm0[2],xmm2[3],xmm0[3],xmm2[4],xmm0[4],xmm2[5],xmm0[5],xmm2[6],xmm0[6],xmm2[7],xmm0[7]
   1650 ; SSE3-NEXT:    bsrl %r8d, %eax
   1651 ; SSE3-NEXT:    xorl $7, %eax
   1652 ; SSE3-NEXT:    movd %eax, %xmm4
   1653 ; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax
   1654 ; SSE3-NEXT:    bsrl %eax, %eax
   1655 ; SSE3-NEXT:    xorl $7, %eax
   1656 ; SSE3-NEXT:    movd %eax, %xmm0
   1657 ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm4[0],xmm0[1],xmm4[1],xmm0[2],xmm4[2],xmm0[3],xmm4[3],xmm0[4],xmm4[4],xmm0[5],xmm4[5],xmm0[6],xmm4[6],xmm0[7],xmm4[7]
   1658 ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1],xmm0[2],xmm2[2],xmm0[3],xmm2[3],xmm0[4],xmm2[4],xmm0[5],xmm2[5],xmm0[6],xmm2[6],xmm0[7],xmm2[7]
   1659 ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1],xmm0[2],xmm3[2],xmm0[3],xmm3[3],xmm0[4],xmm3[4],xmm0[5],xmm3[5],xmm0[6],xmm3[6],xmm0[7],xmm3[7]
   1660 ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
   1661 ; SSE3-NEXT:    popq %rbx
   1662 ; SSE3-NEXT:    retq
   1663 ;
   1664 ; SSSE3-LABEL: testv16i8u:
   1665 ; SSSE3:       # BB#0:
   1666 ; SSSE3-NEXT:    pushq %rbx
   1667 ; SSSE3-NEXT:    movaps %xmm0, -{{[0-9]+}}(%rsp)
   1668 ; SSSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax
   1669 ; SSSE3-NEXT:    bsrl %eax, %eax
   1670 ; SSSE3-NEXT:    xorl $7, %eax
   1671 ; SSSE3-NEXT:    movd %eax, %xmm0
   1672 ; SSSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %edi
   1673 ; SSSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %edx
   1674 ; SSSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r9d
   1675 ; SSSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax
   1676 ; SSSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r10d
   1677 ; SSSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx
   1678 ; SSSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r8d
   1679 ; SSSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %esi
   1680 ; SSSE3-NEXT:    bsrl %esi, %esi
   1681 ; SSSE3-NEXT:    xorl $7, %esi
   1682 ; SSSE3-NEXT:    movd %esi, %xmm1
   1683 ; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[1],xmm1[2],xmm0[2],xmm1[3],xmm0[3],xmm1[4],xmm0[4],xmm1[5],xmm0[5],xmm1[6],xmm0[6],xmm1[7],xmm0[7]
   1684 ; SSSE3-NEXT:    bsrl %eax, %eax
   1685 ; SSSE3-NEXT:    xorl $7, %eax
   1686 ; SSSE3-NEXT:    movd %eax, %xmm0
   1687 ; SSSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax
   1688 ; SSSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %esi
   1689 ; SSSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r11d
   1690 ; SSSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ebx
   1691 ; SSSE3-NEXT:    bsrl %ebx, %ebx
   1692 ; SSSE3-NEXT:    xorl $7, %ebx
   1693 ; SSSE3-NEXT:    movd %ebx, %xmm2
   1694 ; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[1],xmm2[2],xmm0[2],xmm2[3],xmm0[3],xmm2[4],xmm0[4],xmm2[5],xmm0[5],xmm2[6],xmm0[6],xmm2[7],xmm0[7]
   1695 ; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1],xmm2[2],xmm1[2],xmm2[3],xmm1[3],xmm2[4],xmm1[4],xmm2[5],xmm1[5],xmm2[6],xmm1[6],xmm2[7],xmm1[7]
   1696 ; SSSE3-NEXT:    bsrl %edx, %edx
   1697 ; SSSE3-NEXT:    xorl $7, %edx
   1698 ; SSSE3-NEXT:    movd %edx, %xmm0
   1699 ; SSSE3-NEXT:    bsrl %esi, %edx
   1700 ; SSSE3-NEXT:    xorl $7, %edx
   1701 ; SSSE3-NEXT:    movd %edx, %xmm3
   1702 ; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm3 = xmm3[0],xmm0[0],xmm3[1],xmm0[1],xmm3[2],xmm0[2],xmm3[3],xmm0[3],xmm3[4],xmm0[4],xmm3[5],xmm0[5],xmm3[6],xmm0[6],xmm3[7],xmm0[7]
   1703 ; SSSE3-NEXT:    bsrl %ecx, %ecx
   1704 ; SSSE3-NEXT:    xorl $7, %ecx
   1705 ; SSSE3-NEXT:    movd %ecx, %xmm0
   1706 ; SSSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx
   1707 ; SSSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %edx
   1708 ; SSSE3-NEXT:    bsrl %edx, %edx
   1709 ; SSSE3-NEXT:    xorl $7, %edx
   1710 ; SSSE3-NEXT:    movd %edx, %xmm1
   1711 ; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[1],xmm1[2],xmm0[2],xmm1[3],xmm0[3],xmm1[4],xmm0[4],xmm1[5],xmm0[5],xmm1[6],xmm0[6],xmm1[7],xmm0[7]
   1712 ; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1],xmm1[2],xmm3[2],xmm1[3],xmm3[3],xmm1[4],xmm3[4],xmm1[5],xmm3[5],xmm1[6],xmm3[6],xmm1[7],xmm3[7]
   1713 ; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1],xmm1[2],xmm2[2],xmm1[3],xmm2[3],xmm1[4],xmm2[4],xmm1[5],xmm2[5],xmm1[6],xmm2[6],xmm1[7],xmm2[7]
   1714 ; SSSE3-NEXT:    bsrl %edi, %edx
   1715 ; SSSE3-NEXT:    xorl $7, %edx
   1716 ; SSSE3-NEXT:    movd %edx, %xmm0
   1717 ; SSSE3-NEXT:    bsrl %eax, %eax
   1718 ; SSSE3-NEXT:    xorl $7, %eax
   1719 ; SSSE3-NEXT:    movd %eax, %xmm2
   1720 ; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[1],xmm2[2],xmm0[2],xmm2[3],xmm0[3],xmm2[4],xmm0[4],xmm2[5],xmm0[5],xmm2[6],xmm0[6],xmm2[7],xmm0[7]
   1721 ; SSSE3-NEXT:    bsrl %r10d, %eax
   1722 ; SSSE3-NEXT:    xorl $7, %eax
   1723 ; SSSE3-NEXT:    movd %eax, %xmm0
   1724 ; SSSE3-NEXT:    bsrl %ecx, %eax
   1725 ; SSSE3-NEXT:    xorl $7, %eax
   1726 ; SSSE3-NEXT:    movd %eax, %xmm3
   1727 ; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm3 = xmm3[0],xmm0[0],xmm3[1],xmm0[1],xmm3[2],xmm0[2],xmm3[3],xmm0[3],xmm3[4],xmm0[4],xmm3[5],xmm0[5],xmm3[6],xmm0[6],xmm3[7],xmm0[7]
   1728 ; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm3 = xmm3[0],xmm2[0],xmm3[1],xmm2[1],xmm3[2],xmm2[2],xmm3[3],xmm2[3],xmm3[4],xmm2[4],xmm3[5],xmm2[5],xmm3[6],xmm2[6],xmm3[7],xmm2[7]
   1729 ; SSSE3-NEXT:    bsrl %r9d, %eax
   1730 ; SSSE3-NEXT:    xorl $7, %eax
   1731 ; SSSE3-NEXT:    movd %eax, %xmm0
   1732 ; SSSE3-NEXT:    bsrl %r11d, %eax
   1733 ; SSSE3-NEXT:    xorl $7, %eax
   1734 ; SSSE3-NEXT:    movd %eax, %xmm2
   1735 ; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[1],xmm2[2],xmm0[2],xmm2[3],xmm0[3],xmm2[4],xmm0[4],xmm2[5],xmm0[5],xmm2[6],xmm0[6],xmm2[7],xmm0[7]
   1736 ; SSSE3-NEXT:    bsrl %r8d, %eax
   1737 ; SSSE3-NEXT:    xorl $7, %eax
   1738 ; SSSE3-NEXT:    movd %eax, %xmm4
   1739 ; SSSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax
   1740 ; SSSE3-NEXT:    bsrl %eax, %eax
   1741 ; SSSE3-NEXT:    xorl $7, %eax
   1742 ; SSSE3-NEXT:    movd %eax, %xmm0
   1743 ; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm4[0],xmm0[1],xmm4[1],xmm0[2],xmm4[2],xmm0[3],xmm4[3],xmm0[4],xmm4[4],xmm0[5],xmm4[5],xmm0[6],xmm4[6],xmm0[7],xmm4[7]
   1744 ; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1],xmm0[2],xmm2[2],xmm0[3],xmm2[3],xmm0[4],xmm2[4],xmm0[5],xmm2[5],xmm0[6],xmm2[6],xmm0[7],xmm2[7]
   1745 ; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1],xmm0[2],xmm3[2],xmm0[3],xmm3[3],xmm0[4],xmm3[4],xmm0[5],xmm3[5],xmm0[6],xmm3[6],xmm0[7],xmm3[7]
   1746 ; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
   1747 ; SSSE3-NEXT:    popq %rbx
   1748 ; SSSE3-NEXT:    retq
   1749 ;
   1750 ; SSE41-LABEL: testv16i8u:
   1751 ; SSE41:       # BB#0:
   1752 ; SSE41-NEXT:    pextrb $1, %xmm0, %eax
   1753 ; SSE41-NEXT:    bsrl %eax, %eax
   1754 ; SSE41-NEXT:    xorl $7, %eax
   1755 ; SSE41-NEXT:    pextrb $0, %xmm0, %ecx
   1756 ; SSE41-NEXT:    bsrl %ecx, %ecx
   1757 ; SSE41-NEXT:    xorl $7, %ecx
   1758 ; SSE41-NEXT:    movd %ecx, %xmm1
   1759 ; SSE41-NEXT:    pinsrb $1, %eax, %xmm1
   1760 ; SSE41-NEXT:    pextrb $2, %xmm0, %eax
   1761 ; SSE41-NEXT:    bsrl %eax, %eax
   1762 ; SSE41-NEXT:    xorl $7, %eax
   1763 ; SSE41-NEXT:    pinsrb $2, %eax, %xmm1
   1764 ; SSE41-NEXT:    pextrb $3, %xmm0, %eax
   1765 ; SSE41-NEXT:    bsrl %eax, %eax
   1766 ; SSE41-NEXT:    xorl $7, %eax
   1767 ; SSE41-NEXT:    pinsrb $3, %eax, %xmm1
   1768 ; SSE41-NEXT:    pextrb $4, %xmm0, %eax
   1769 ; SSE41-NEXT:    bsrl %eax, %eax
   1770 ; SSE41-NEXT:    xorl $7, %eax
   1771 ; SSE41-NEXT:    pinsrb $4, %eax, %xmm1
   1772 ; SSE41-NEXT:    pextrb $5, %xmm0, %eax
   1773 ; SSE41-NEXT:    bsrl %eax, %eax
   1774 ; SSE41-NEXT:    xorl $7, %eax
   1775 ; SSE41-NEXT:    pinsrb $5, %eax, %xmm1
   1776 ; SSE41-NEXT:    pextrb $6, %xmm0, %eax
   1777 ; SSE41-NEXT:    bsrl %eax, %eax
   1778 ; SSE41-NEXT:    xorl $7, %eax
   1779 ; SSE41-NEXT:    pinsrb $6, %eax, %xmm1
   1780 ; SSE41-NEXT:    pextrb $7, %xmm0, %eax
   1781 ; SSE41-NEXT:    bsrl %eax, %eax
   1782 ; SSE41-NEXT:    xorl $7, %eax
   1783 ; SSE41-NEXT:    pinsrb $7, %eax, %xmm1
   1784 ; SSE41-NEXT:    pextrb $8, %xmm0, %eax
   1785 ; SSE41-NEXT:    bsrl %eax, %eax
   1786 ; SSE41-NEXT:    xorl $7, %eax
   1787 ; SSE41-NEXT:    pinsrb $8, %eax, %xmm1
   1788 ; SSE41-NEXT:    pextrb $9, %xmm0, %eax
   1789 ; SSE41-NEXT:    bsrl %eax, %eax
   1790 ; SSE41-NEXT:    xorl $7, %eax
   1791 ; SSE41-NEXT:    pinsrb $9, %eax, %xmm1
   1792 ; SSE41-NEXT:    pextrb $10, %xmm0, %eax
   1793 ; SSE41-NEXT:    bsrl %eax, %eax
   1794 ; SSE41-NEXT:    xorl $7, %eax
   1795 ; SSE41-NEXT:    pinsrb $10, %eax, %xmm1
   1796 ; SSE41-NEXT:    pextrb $11, %xmm0, %eax
   1797 ; SSE41-NEXT:    bsrl %eax, %eax
   1798 ; SSE41-NEXT:    xorl $7, %eax
   1799 ; SSE41-NEXT:    pinsrb $11, %eax, %xmm1
   1800 ; SSE41-NEXT:    pextrb $12, %xmm0, %eax
   1801 ; SSE41-NEXT:    bsrl %eax, %eax
   1802 ; SSE41-NEXT:    xorl $7, %eax
   1803 ; SSE41-NEXT:    pinsrb $12, %eax, %xmm1
   1804 ; SSE41-NEXT:    pextrb $13, %xmm0, %eax
   1805 ; SSE41-NEXT:    bsrl %eax, %eax
   1806 ; SSE41-NEXT:    xorl $7, %eax
   1807 ; SSE41-NEXT:    pinsrb $13, %eax, %xmm1
   1808 ; SSE41-NEXT:    pextrb $14, %xmm0, %eax
   1809 ; SSE41-NEXT:    bsrl %eax, %eax
   1810 ; SSE41-NEXT:    xorl $7, %eax
   1811 ; SSE41-NEXT:    pinsrb $14, %eax, %xmm1
   1812 ; SSE41-NEXT:    pextrb $15, %xmm0, %eax
   1813 ; SSE41-NEXT:    bsrl %eax, %eax
   1814 ; SSE41-NEXT:    xorl $7, %eax
   1815 ; SSE41-NEXT:    pinsrb $15, %eax, %xmm1
   1816 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
   1817 ; SSE41-NEXT:    retq
   1818 ;
   1819 ; AVX-LABEL: testv16i8u:
   1820 ; AVX:       # BB#0:
   1821 ; AVX-NEXT:    vpextrb $1, %xmm0, %eax
   1822 ; AVX-NEXT:    bsrl %eax, %eax
   1823 ; AVX-NEXT:    xorl $7, %eax
   1824 ; AVX-NEXT:    vpextrb $0, %xmm0, %ecx
   1825 ; AVX-NEXT:    bsrl %ecx, %ecx
   1826 ; AVX-NEXT:    xorl $7, %ecx
   1827 ; AVX-NEXT:    vmovd %ecx, %xmm1
   1828 ; AVX-NEXT:    vpinsrb $1, %eax, %xmm1, %xmm1
   1829 ; AVX-NEXT:    vpextrb $2, %xmm0, %eax
   1830 ; AVX-NEXT:    bsrl %eax, %eax
   1831 ; AVX-NEXT:    xorl $7, %eax
   1832 ; AVX-NEXT:    vpinsrb $2, %eax, %xmm1, %xmm1
   1833 ; AVX-NEXT:    vpextrb $3, %xmm0, %eax
   1834 ; AVX-NEXT:    bsrl %eax, %eax
   1835 ; AVX-NEXT:    xorl $7, %eax
   1836 ; AVX-NEXT:    vpinsrb $3, %eax, %xmm1, %xmm1
   1837 ; AVX-NEXT:    vpextrb $4, %xmm0, %eax
   1838 ; AVX-NEXT:    bsrl %eax, %eax
   1839 ; AVX-NEXT:    xorl $7, %eax
   1840 ; AVX-NEXT:    vpinsrb $4, %eax, %xmm1, %xmm1
   1841 ; AVX-NEXT:    vpextrb $5, %xmm0, %eax
   1842 ; AVX-NEXT:    bsrl %eax, %eax
   1843 ; AVX-NEXT:    xorl $7, %eax
   1844 ; AVX-NEXT:    vpinsrb $5, %eax, %xmm1, %xmm1
   1845 ; AVX-NEXT:    vpextrb $6, %xmm0, %eax
   1846 ; AVX-NEXT:    bsrl %eax, %eax
   1847 ; AVX-NEXT:    xorl $7, %eax
   1848 ; AVX-NEXT:    vpinsrb $6, %eax, %xmm1, %xmm1
   1849 ; AVX-NEXT:    vpextrb $7, %xmm0, %eax
   1850 ; AVX-NEXT:    bsrl %eax, %eax
   1851 ; AVX-NEXT:    xorl $7, %eax
   1852 ; AVX-NEXT:    vpinsrb $7, %eax, %xmm1, %xmm1
   1853 ; AVX-NEXT:    vpextrb $8, %xmm0, %eax
   1854 ; AVX-NEXT:    bsrl %eax, %eax
   1855 ; AVX-NEXT:    xorl $7, %eax
   1856 ; AVX-NEXT:    vpinsrb $8, %eax, %xmm1, %xmm1
   1857 ; AVX-NEXT:    vpextrb $9, %xmm0, %eax
   1858 ; AVX-NEXT:    bsrl %eax, %eax
   1859 ; AVX-NEXT:    xorl $7, %eax
   1860 ; AVX-NEXT:    vpinsrb $9, %eax, %xmm1, %xmm1
   1861 ; AVX-NEXT:    vpextrb $10, %xmm0, %eax
   1862 ; AVX-NEXT:    bsrl %eax, %eax
   1863 ; AVX-NEXT:    xorl $7, %eax
   1864 ; AVX-NEXT:    vpinsrb $10, %eax, %xmm1, %xmm1
   1865 ; AVX-NEXT:    vpextrb $11, %xmm0, %eax
   1866 ; AVX-NEXT:    bsrl %eax, %eax
   1867 ; AVX-NEXT:    xorl $7, %eax
   1868 ; AVX-NEXT:    vpinsrb $11, %eax, %xmm1, %xmm1
   1869 ; AVX-NEXT:    vpextrb $12, %xmm0, %eax
   1870 ; AVX-NEXT:    bsrl %eax, %eax
   1871 ; AVX-NEXT:    xorl $7, %eax
   1872 ; AVX-NEXT:    vpinsrb $12, %eax, %xmm1, %xmm1
   1873 ; AVX-NEXT:    vpextrb $13, %xmm0, %eax
   1874 ; AVX-NEXT:    bsrl %eax, %eax
   1875 ; AVX-NEXT:    xorl $7, %eax
   1876 ; AVX-NEXT:    vpinsrb $13, %eax, %xmm1, %xmm1
   1877 ; AVX-NEXT:    vpextrb $14, %xmm0, %eax
   1878 ; AVX-NEXT:    bsrl %eax, %eax
   1879 ; AVX-NEXT:    xorl $7, %eax
   1880 ; AVX-NEXT:    vpinsrb $14, %eax, %xmm1, %xmm1
   1881 ; AVX-NEXT:    vpextrb $15, %xmm0, %eax
   1882 ; AVX-NEXT:    bsrl %eax, %eax
   1883 ; AVX-NEXT:    xorl $7, %eax
   1884 ; AVX-NEXT:    vpinsrb $15, %eax, %xmm1, %xmm0
   1885 ; AVX-NEXT:    retq
   1886 ;
   1887 ; AVX512VLCD-LABEL: testv16i8u:
   1888 ; AVX512VLCD:       ## BB#0:
   1889 ; AVX512VLCD-NEXT:    vpmovzxbd %xmm0, %zmm0
   1890 ; AVX512VLCD-NEXT:    vplzcntd %zmm0, %zmm0
   1891 ; AVX512VLCD-NEXT:    vpmovdb %zmm0, %xmm0
   1892 ; AVX512VLCD-NEXT:    vpsubb {{.*}}(%rip), %xmm0, %xmm0
   1893 ; AVX512VLCD-NEXT:    retq
   1894 ;
   1895 ; AVX512CD-LABEL: testv16i8u:
   1896 ; AVX512CD:       ## BB#0:
   1897 ; AVX512CD-NEXT:    vpmovzxbd %xmm0, %zmm0
   1898 ; AVX512CD-NEXT:    vplzcntd %zmm0, %zmm0
   1899 ; AVX512CD-NEXT:    vpmovdb %zmm0, %xmm0
   1900 ; AVX512CD-NEXT:    vpsubb {{.*}}(%rip), %xmm0, %xmm0
   1901 ; AVX512CD-NEXT:    retq
   1902   %out = call <16 x i8> @llvm.ctlz.v16i8(<16 x i8> %in, i1 -1)
   1903   ret <16 x i8> %out
   1904 }
   1905 
   1906 define <2 x i64> @foldv2i64() nounwind {
   1907 ; SSE-LABEL: foldv2i64:
   1908 ; SSE:       # BB#0:
   1909 ; SSE-NEXT:    movl $55, %eax
   1910 ; SSE-NEXT:    movd %rax, %xmm0
   1911 ; SSE-NEXT:    retq
   1912 ;
   1913 ; AVX-LABEL: foldv2i64:
   1914 ; AVX:       # BB#0:
   1915 ; AVX-NEXT:    movl $55, %eax
   1916 ; AVX-NEXT:    vmovq %rax, %xmm0
   1917 ; AVX-NEXT:    retq
   1918 ;
   1919 ; AVX512VLCD-LABEL: foldv2i64:
   1920 ; AVX512VLCD:       ## BB#0:
   1921 ; AVX512VLCD-NEXT:    movl $55, %eax
   1922 ; AVX512VLCD-NEXT:    vmovq %rax, %xmm0
   1923 ; AVX512VLCD-NEXT:    retq
   1924 ;
   1925 ; AVX512CD-LABEL: foldv2i64:
   1926 ; AVX512CD:       ## BB#0:
   1927 ; AVX512CD-NEXT:    movl $55, %eax
   1928 ; AVX512CD-NEXT:    vmovq %rax, %xmm0
   1929 ; AVX512CD-NEXT:    retq
   1930   %out = call <2 x i64> @llvm.ctlz.v2i64(<2 x i64> <i64 256, i64 -1>, i1 0)
   1931   ret <2 x i64> %out
   1932 }
   1933 
   1934 define <2 x i64> @foldv2i64u() nounwind {
   1935 ; SSE-LABEL: foldv2i64u:
   1936 ; SSE:       # BB#0:
   1937 ; SSE-NEXT:    movl $55, %eax
   1938 ; SSE-NEXT:    movd %rax, %xmm0
   1939 ; SSE-NEXT:    retq
   1940 ;
   1941 ; AVX-LABEL: foldv2i64u:
   1942 ; AVX:       # BB#0:
   1943 ; AVX-NEXT:    movl $55, %eax
   1944 ; AVX-NEXT:    vmovq %rax, %xmm0
   1945 ; AVX-NEXT:    retq
   1946 ;
   1947 ; AVX512VLCD-LABEL: foldv2i64u:
   1948 ; AVX512VLCD:       ## BB#0:
   1949 ; AVX512VLCD-NEXT:    movl $55, %eax
   1950 ; AVX512VLCD-NEXT:    vmovq %rax, %xmm0
   1951 ; AVX512VLCD-NEXT:    retq
   1952 ;
   1953 ; AVX512CD-LABEL: foldv2i64u:
   1954 ; AVX512CD:       ## BB#0:
   1955 ; AVX512CD-NEXT:    movl $55, %eax
   1956 ; AVX512CD-NEXT:    vmovq %rax, %xmm0
   1957 ; AVX512CD-NEXT:    retq
   1958   %out = call <2 x i64> @llvm.ctlz.v2i64(<2 x i64> <i64 256, i64 -1>, i1 -1)
   1959   ret <2 x i64> %out
   1960 }
   1961 
   1962 define <4 x i32> @foldv4i32() nounwind {
   1963 ; SSE-LABEL: foldv4i32:
   1964 ; SSE:       # BB#0:
   1965 ; SSE-NEXT:    movaps {{.*#+}} xmm0 = [23,0,32,24]
   1966 ; SSE-NEXT:    retq
   1967 ;
   1968 ; AVX-LABEL: foldv4i32:
   1969 ; AVX:       # BB#0:
   1970 ; AVX-NEXT:    vmovaps {{.*#+}} xmm0 = [23,0,32,24]
   1971 ; AVX-NEXT:    retq
   1972 ;
   1973 ; AVX512VLCD-LABEL: foldv4i32:
   1974 ; AVX512VLCD:       ## BB#0:
   1975 ; AVX512VLCD-NEXT:    vmovdqa32 {{.*#+}} xmm0 = [23,0,32,24]
   1976 ; AVX512VLCD-NEXT:    retq
   1977 ;
   1978 ; AVX512CD-LABEL: foldv4i32:
   1979 ; AVX512CD:       ## BB#0:
   1980 ; AVX512CD-NEXT:    vmovaps {{.*#+}} xmm0 = [23,0,32,24]
   1981 ; AVX512CD-NEXT:    retq
   1982   %out = call <4 x i32> @llvm.ctlz.v4i32(<4 x i32> <i32 256, i32 -1, i32 0, i32 255>, i1 0)
   1983   ret <4 x i32> %out
   1984 }
   1985 
   1986 define <4 x i32> @foldv4i32u() nounwind {
   1987 ; SSE-LABEL: foldv4i32u:
   1988 ; SSE:       # BB#0:
   1989 ; SSE-NEXT:    movaps {{.*#+}} xmm0 = [23,0,32,24]
   1990 ; SSE-NEXT:    retq
   1991 ;
   1992 ; AVX-LABEL: foldv4i32u:
   1993 ; AVX:       # BB#0:
   1994 ; AVX-NEXT:    vmovaps {{.*#+}} xmm0 = [23,0,32,24]
   1995 ; AVX-NEXT:    retq
   1996 ;
   1997 ; AVX512VLCD-LABEL: foldv4i32u:
   1998 ; AVX512VLCD:       ## BB#0:
   1999 ; AVX512VLCD-NEXT:    vmovdqa32 {{.*#+}} xmm0 = [23,0,32,24]
   2000 ; AVX512VLCD-NEXT:    retq
   2001 ;
   2002 ; AVX512CD-LABEL: foldv4i32u:
   2003 ; AVX512CD:       ## BB#0:
   2004 ; AVX512CD-NEXT:    vmovaps {{.*#+}} xmm0 = [23,0,32,24]
   2005 ; AVX512CD-NEXT:    retq
   2006   %out = call <4 x i32> @llvm.ctlz.v4i32(<4 x i32> <i32 256, i32 -1, i32 0, i32 255>, i1 -1)
   2007   ret <4 x i32> %out
   2008 }
   2009 
   2010 define <8 x i16> @foldv8i16() nounwind {
   2011 ; SSE-LABEL: foldv8i16:
   2012 ; SSE:       # BB#0:
   2013 ; SSE-NEXT:    movaps {{.*#+}} xmm0 = [7,0,16,8,16,13,11,9]
   2014 ; SSE-NEXT:    retq
   2015 ;
   2016 ; AVX-LABEL: foldv8i16:
   2017 ; AVX:       # BB#0:
   2018 ; AVX-NEXT:    vmovaps {{.*#+}} xmm0 = [7,0,16,8,16,13,11,9]
   2019 ; AVX-NEXT:    retq
   2020 ;
   2021 ; AVX512VLCD-LABEL: foldv8i16:
   2022 ; AVX512VLCD:       ## BB#0:
   2023 ; AVX512VLCD-NEXT:    vmovdqa64 {{.*#+}} xmm0 = [7,0,16,8,16,13,11,9]
   2024 ; AVX512VLCD-NEXT:    retq
   2025 ;
   2026 ; AVX512CD-LABEL: foldv8i16:
   2027 ; AVX512CD:       ## BB#0:
   2028 ; AVX512CD-NEXT:    vmovaps {{.*#+}} xmm0 = [7,0,16,8,16,13,11,9]
   2029 ; AVX512CD-NEXT:    retq
   2030   %out = call <8 x i16> @llvm.ctlz.v8i16(<8 x i16> <i16 256, i16 -1, i16 0, i16 255, i16 -65536, i16 7, i16 24, i16 88>, i1 0)
   2031   ret <8 x i16> %out
   2032 }
   2033 
   2034 define <8 x i16> @foldv8i16u() nounwind {
   2035 ; SSE-LABEL: foldv8i16u:
   2036 ; SSE:       # BB#0:
   2037 ; SSE-NEXT:    movaps {{.*#+}} xmm0 = [7,0,16,8,16,13,11,9]
   2038 ; SSE-NEXT:    retq
   2039 ;
   2040 ; AVX-LABEL: foldv8i16u:
   2041 ; AVX:       # BB#0:
   2042 ; AVX-NEXT:    vmovaps {{.*#+}} xmm0 = [7,0,16,8,16,13,11,9]
   2043 ; AVX-NEXT:    retq
   2044 ;
   2045 ; AVX512VLCD-LABEL: foldv8i16u:
   2046 ; AVX512VLCD:       ## BB#0:
   2047 ; AVX512VLCD-NEXT:    vmovdqa64 {{.*#+}} xmm0 = [7,0,16,8,16,13,11,9]
   2048 ; AVX512VLCD-NEXT:    retq
   2049 ;
   2050 ; AVX512CD-LABEL: foldv8i16u:
   2051 ; AVX512CD:       ## BB#0:
   2052 ; AVX512CD-NEXT:    vmovaps {{.*#+}} xmm0 = [7,0,16,8,16,13,11,9]
   2053 ; AVX512CD-NEXT:    retq
   2054   %out = call <8 x i16> @llvm.ctlz.v8i16(<8 x i16> <i16 256, i16 -1, i16 0, i16 255, i16 -65536, i16 7, i16 24, i16 88>, i1 -1)
   2055   ret <8 x i16> %out
   2056 }
   2057 
   2058 define <16 x i8> @foldv16i8() nounwind {
   2059 ; SSE-LABEL: foldv16i8:
   2060 ; SSE:       # BB#0:
   2061 ; SSE-NEXT:    movaps {{.*#+}} xmm0 = [8,0,8,0,8,5,3,1,0,0,7,6,5,4,3,2]
   2062 ; SSE-NEXT:    retq
   2063 ;
   2064 ; AVX-LABEL: foldv16i8:
   2065 ; AVX:       # BB#0:
   2066 ; AVX-NEXT:    vmovaps {{.*#+}} xmm0 = [8,0,8,0,8,5,3,1,0,0,7,6,5,4,3,2]
   2067 ; AVX-NEXT:    retq
   2068 ;
   2069 ; AVX512VLCD-LABEL: foldv16i8:
   2070 ; AVX512VLCD:       ## BB#0:
   2071 ; AVX512VLCD-NEXT:    vmovdqa64 {{.*#+}} xmm0 = [8,0,8,0,8,5,3,1,0,0,7,6,5,4,3,2]
   2072 ; AVX512VLCD-NEXT:    retq
   2073 ;
   2074 ; AVX512CD-LABEL: foldv16i8:
   2075 ; AVX512CD:       ## BB#0:
   2076 ; AVX512CD-NEXT:    vmovaps {{.*#+}} xmm0 = [8,0,8,0,8,5,3,1,0,0,7,6,5,4,3,2]
   2077 ; AVX512CD-NEXT:    retq
   2078   %out = call <16 x i8> @llvm.ctlz.v16i8(<16 x i8> <i8 256, i8 -1, i8 0, i8 255, i8 -65536, i8 7, i8 24, i8 88, i8 -2, i8 254, i8 1, i8 2, i8 4, i8 8, i8 16, i8 32>, i1 0)
   2079   ret <16 x i8> %out
   2080 }
   2081 
   2082 define <16 x i8> @foldv16i8u() nounwind {
   2083 ; SSE-LABEL: foldv16i8u:
   2084 ; SSE:       # BB#0:
   2085 ; SSE-NEXT:    movaps {{.*#+}} xmm0 = [8,0,8,0,8,5,3,1,0,0,7,6,5,4,3,2]
   2086 ; SSE-NEXT:    retq
   2087 ;
   2088 ; AVX-LABEL: foldv16i8u:
   2089 ; AVX:       # BB#0:
   2090 ; AVX-NEXT:    vmovaps {{.*#+}} xmm0 = [8,0,8,0,8,5,3,1,0,0,7,6,5,4,3,2]
   2091 ; AVX-NEXT:    retq
   2092 ;
   2093 ; AVX512VLCD-LABEL: foldv16i8u:
   2094 ; AVX512VLCD:       ## BB#0:
   2095 ; AVX512VLCD-NEXT:    vmovdqa64 {{.*#+}} xmm0 = [8,0,8,0,8,5,3,1,0,0,7,6,5,4,3,2]
   2096 ; AVX512VLCD-NEXT:    retq
   2097 ;
   2098 ; AVX512CD-LABEL: foldv16i8u:
   2099 ; AVX512CD:       ## BB#0:
   2100 ; AVX512CD-NEXT:    vmovaps {{.*#+}} xmm0 = [8,0,8,0,8,5,3,1,0,0,7,6,5,4,3,2]
   2101 ; AVX512CD-NEXT:    retq
   2102   %out = call <16 x i8> @llvm.ctlz.v16i8(<16 x i8> <i8 256, i8 -1, i8 0, i8 255, i8 -65536, i8 7, i8 24, i8 88, i8 -2, i8 254, i8 1, i8 2, i8 4, i8 8, i8 16, i8 32>, i1 -1)
   2103   ret <16 x i8> %out
   2104 }
   2105 
   2106 declare <2 x i64> @llvm.ctlz.v2i64(<2 x i64>, i1)
   2107 declare <4 x i32> @llvm.ctlz.v4i32(<4 x i32>, i1)
   2108 declare <8 x i16> @llvm.ctlz.v8i16(<8 x i16>, i1)
   2109 declare <16 x i8> @llvm.ctlz.v16i8(<16 x i8>, i1)
   2110