Lines Matching full:next
13 ; SSE2-NEXT: movaps (%rdi), %xmm0
14 ; SSE2-NEXT: retq
18 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
19 ; SSE41-NEXT: retq
23 ; AVX-NEXT: vmovntdqa (%rdi), %xmm0
24 ; AVX-NEXT: retq
28 ; AVX512-NEXT: vmovntdqa (%rdi), %xmm0
29 ; AVX512-NEXT: retq
37 ; SSE2-NEXT: movaps (%rdi), %xmm0
38 ; SSE2-NEXT: retq
42 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
43 ; SSE41-NEXT: retq
47 ; AVX-NEXT: vmovntdqa (%rdi), %xmm0
48 ; AVX-NEXT: retq
52 ; AVX512F-NEXT: vmovntdqa (%rdi), %xmm0
53 ; AVX512F-NEXT: retq
57 ; AVX512BW-NEXT: vmovntdqa (%rdi), %xmm0
58 ; AVX512BW-NEXT: retq
62 ; AVX512VL-NEXT: vmovdqa32 (%rdi), %xmm0
63 ; AVX512VL-NEXT: retq
71 ; SSE2-NEXT: movaps (%rdi), %xmm0
72 ; SSE2-NEXT: retq
76 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
77 ; SSE41-NEXT: retq
81 ; AVX-NEXT: vmovntdqa (%rdi), %xmm0
82 ; AVX-NEXT: retq
86 ; AVX512-NEXT: vmovntdqa (%rdi), %xmm0
87 ; AVX512-NEXT: retq
95 ; SSE2-NEXT: movaps (%rdi), %xmm0
96 ; SSE2-NEXT: retq
100 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
101 ; SSE41-NEXT: retq
105 ; AVX-NEXT: vmovntdqa (%rdi), %xmm0
106 ; AVX-NEXT: retq
110 ; AVX512-NEXT: vmovntdqa (%rdi), %xmm0
111 ; AVX512-NEXT: retq
119 ; SSE2-NEXT: movaps (%rdi), %xmm0
120 ; SSE2-NEXT: retq
124 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
125 ; SSE41-NEXT: retq
129 ; AVX-NEXT: vmovntdqa (%rdi), %xmm0
130 ; AVX-NEXT: retq
134 ; AVX512-NEXT: vmovntdqa (%rdi), %xmm0
135 ; AVX512-NEXT: retq
143 ; SSE2-NEXT: movaps (%rdi), %xmm0
144 ; SSE2-NEXT: retq
148 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
149 ; SSE41-NEXT: retq
153 ; AVX-NEXT: vmovntdqa (%rdi), %xmm0
154 ; AVX-NEXT: retq
158 ; AVX512-NEXT: vmovntdqa (%rdi), %xmm0
159 ; AVX512-NEXT: retq
169 ; SSE2-NEXT: movaps (%rdi), %xmm0
170 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
171 ; SSE2-NEXT: retq
175 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
176 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
177 ; SSE41-NEXT: retq
181 ; AVX1-NEXT: vmovaps (%rdi), %ymm0
182 ; AVX1-NEXT: retq
186 ; AVX2-NEXT: vmovntdqa (%rdi), %ymm0
187 ; AVX2-NEXT: retq
191 ; AVX512-NEXT: vmovntdqa (%rdi), %ymm0
192 ; AVX512-NEXT: retq
200 ; SSE2-NEXT: movaps (%rdi), %xmm0
201 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
202 ; SSE2-NEXT: retq
206 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
207 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
208 ; SSE41-NEXT: retq
212 ; AVX1-NEXT: vmovaps (%rdi), %ymm0
213 ; AVX1-NEXT: retq
217 ; AVX2-NEXT: vmovntdqa (%rdi), %ymm0
218 ; AVX2-NEXT: retq
222 ; AVX512F-NEXT: vmovntdqa (%rdi), %ymm0
223 ; AVX512F-NEXT: retq
227 ; AVX512BW-NEXT: vmovntdqa (%rdi), %ymm0
228 ; AVX512BW-NEXT: retq
232 ; AVX512VL-NEXT: vmovdqa32 (%rdi), %ymm0
233 ; AVX512VL-NEXT: retq
241 ; SSE2-NEXT: movaps (%rdi), %xmm0
242 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
243 ; SSE2-NEXT: retq
247 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
248 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
249 ; SSE41-NEXT: retq
253 ; AVX1-NEXT: vmovaps (%rdi), %ymm0
254 ; AVX1-NEXT: retq
258 ; AVX2-NEXT: vmovntdqa (%rdi), %ymm0
259 ; AVX2-NEXT: retq
263 ; AVX512-NEXT: vmovntdqa (%rdi), %ymm0
264 ; AVX512-NEXT: retq
272 ; SSE2-NEXT: movaps (%rdi), %xmm0
273 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
274 ; SSE2-NEXT: retq
278 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
279 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
280 ; SSE41-NEXT: retq
284 ; AVX1-NEXT: vmovaps (%rdi), %ymm0
285 ; AVX1-NEXT: retq
289 ; AVX2-NEXT: vmovntdqa (%rdi), %ymm0
290 ; AVX2-NEXT: retq
294 ; AVX512-NEXT: vmovntdqa (%rdi), %ymm0
295 ; AVX512-NEXT: retq
303 ; SSE2-NEXT: movaps (%rdi), %xmm0
304 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
305 ; SSE2-NEXT: retq
309 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
310 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
311 ; SSE41-NEXT: retq
315 ; AVX1-NEXT: vmovaps (%rdi), %ymm0
316 ; AVX1-NEXT: retq
320 ; AVX2-NEXT: vmovntdqa (%rdi), %ymm0
321 ; AVX2-NEXT: retq
325 ; AVX512-NEXT: vmovntdqa (%rdi), %ymm0
326 ; AVX512-NEXT: retq
334 ; SSE2-NEXT: movaps (%rdi), %xmm0
335 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
336 ; SSE2-NEXT: retq
340 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
341 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
342 ; SSE41-NEXT: retq
346 ; AVX1-NEXT: vmovaps (%rdi), %ymm0
347 ; AVX1-NEXT: retq
351 ; AVX2-NEXT: vmovntdqa (%rdi), %ymm0
352 ; AVX2-NEXT: retq
356 ; AVX512-NEXT: vmovntdqa (%rdi), %ymm0
357 ; AVX512-NEXT: retq
367 ; SSE2-NEXT: movaps (%rdi), %xmm0
368 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
369 ; SSE2-NEXT: movaps 32(%rdi), %xmm2
370 ; SSE2-NEXT: movaps 48(%rdi), %xmm3
371 ; SSE2-NEXT: retq
375 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
376 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
377 ; SSE41-NEXT: movntdqa 32(%rdi), %xmm2
378 ; SSE41-NEXT: movntdqa 48(%rdi), %xmm3
379 ; SSE41-NEXT: retq
383 ; AVX1-NEXT: vmovaps (%rdi), %ymm0
384 ; AVX1-NEXT: vmovaps 32(%rdi), %ymm1
385 ; AVX1-NEXT: retq
389 ; AVX2-NEXT: vmovntdqa (%rdi), %ymm0
390 ; AVX2-NEXT: vmovntdqa 32(%rdi), %ymm1
391 ; AVX2-NEXT: retq
395 ; AVX512-NEXT: vmovntdqa (%rdi), %zmm0
396 ; AVX512-NEXT: retq
404 ; SSE2-NEXT: movaps (%rdi), %xmm0
405 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
406 ; SSE2-NEXT: movaps 32(%rdi), %xmm2
407 ; SSE2-NEXT: movaps 48(%rdi), %xmm3
408 ; SSE2-NEXT: retq
412 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
413 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
414 ; SSE41-NEXT: movntdqa 32(%rdi), %xmm2
415 ; SSE41-NEXT: movntdqa 48(%rdi), %xmm3
416 ; SSE41-NEXT: retq
420 ; AVX1-NEXT: vmovaps (%rdi), %ymm0
421 ; AVX1-NEXT: vmovaps 32(%rdi), %ymm1
422 ; AVX1-NEXT: retq
426 ; AVX2-NEXT: vmovntdqa (%rdi), %ymm0
427 ; AVX2-NEXT: vmovntdqa 32(%rdi), %ymm1
428 ; AVX2-NEXT: retq
432 ; AVX512-NEXT: vmovntdqa (%rdi), %zmm0
433 ; AVX512-NEXT: retq
441 ; SSE2-NEXT: movaps (%rdi), %xmm0
442 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
443 ; SSE2-NEXT: movaps 32(%rdi), %xmm2
444 ; SSE2-NEXT: movaps 48(%rdi), %xmm3
445 ; SSE2-NEXT: retq
449 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
450 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
451 ; SSE41-NEXT: movntdqa 32(%rdi), %xmm2
452 ; SSE41-NEXT: movntdqa 48(%rdi), %xmm3
453 ; SSE41-NEXT: retq
457 ; AVX1-NEXT: vmovaps (%rdi), %ymm0
458 ; AVX1-NEXT: vmovaps 32(%rdi), %ymm1
459 ; AVX1-NEXT: retq
463 ; AVX2-NEXT: vmovntdqa (%rdi), %ymm0
464 ; AVX2-NEXT: vmovntdqa 32(%rdi), %ymm1
465 ; AVX2-NEXT: retq
469 ; AVX512-NEXT: vmovntdqa (%rdi), %zmm0
470 ; AVX512-NEXT: retq
478 ; SSE2-NEXT: movaps (%rdi), %xmm0
479 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
480 ; SSE2-NEXT: movaps 32(%rdi), %xmm2
481 ; SSE2-NEXT: movaps 48(%rdi), %xmm3
482 ; SSE2-NEXT: retq
486 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
487 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
488 ; SSE41-NEXT: movntdqa 32(%rdi), %xmm2
489 ; SSE41-NEXT: movntdqa 48(%rdi), %xmm3
490 ; SSE41-NEXT: retq
494 ; AVX1-NEXT: vmovaps (%rdi), %ymm0
495 ; AVX1-NEXT: vmovaps 32(%rdi), %ymm1
496 ; AVX1-NEXT: retq
500 ; AVX2-NEXT: vmovntdqa (%rdi), %ymm0
501 ; AVX2-NEXT: vmovntdqa 32(%rdi), %ymm1
502 ; AVX2-NEXT: retq
506 ; AVX512-NEXT: vmovntdqa (%rdi), %zmm0
507 ; AVX512-NEXT: retq
515 ; SSE2-NEXT: movaps (%rdi), %xmm0
516 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
517 ; SSE2-NEXT: movaps 32(%rdi), %xmm2
518 ; SSE2-NEXT: movaps 48(%rdi), %xmm3
519 ; SSE2-NEXT: retq
523 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
524 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
525 ; SSE41-NEXT: movntdqa 32(%rdi), %xmm2
526 ; SSE41-NEXT: movntdqa 48(%rdi), %xmm3
527 ; SSE41-NEXT: retq
531 ; AVX1-NEXT: vmovaps (%rdi), %ymm0
532 ; AVX1-NEXT: vmovaps 32(%rdi), %ymm1
533 ; AVX1-NEXT: retq
537 ; AVX2-NEXT: vmovntdqa (%rdi), %ymm0
538 ; AVX2-NEXT: vmovntdqa 32(%rdi), %ymm1
539 ; AVX2-NEXT: retq
543 ; AVX512F-NEXT: vmovntdqa (%rdi), %ymm0
544 ; AVX512F-NEXT: vmovntdqa 32(%rdi), %ymm1
545 ; AVX512F-NEXT: retq
549 ; AVX512BW-NEXT: vmovntdqa (%rdi), %zmm0
550 ; AVX512BW-NEXT: retq
554 ; AVX512VL-NEXT: vmovntdqa (%rdi), %ymm0
555 ; AVX512VL-NEXT: vmovntdqa 32(%rdi), %ymm1
556 ; AVX512VL-NEXT: retq
564 ; SSE2-NEXT: movaps (%rdi), %xmm0
565 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
566 ; SSE2-NEXT: movaps 32(%rdi), %xmm2
567 ; SSE2-NEXT: movaps 48(%rdi), %xmm3
568 ; SSE2-NEXT: retq
572 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
573 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
574 ; SSE41-NEXT: movntdqa 32(%rdi), %xmm2
575 ; SSE41-NEXT: movntdqa 48(%rdi), %xmm3
576 ; SSE41-NEXT: retq
580 ; AVX1-NEXT: vmovaps (%rdi), %ymm0
581 ; AVX1-NEXT: vmovaps 32(%rdi), %ymm1
582 ; AVX1-NEXT: retq
586 ; AVX2-NEXT: vmovntdqa (%rdi), %ymm0
587 ; AVX2-NEXT: vmovntdqa 32(%rdi), %ymm1
588 ; AVX2-NEXT: retq
592 ; AVX512F-NEXT: vmovntdqa (%rdi), %ymm0
593 ; AVX512F-NEXT: vmovntdqa 32(%rdi), %ymm1
594 ; AVX512F-NEXT: retq
598 ; AVX512BW-NEXT: vmovntdqa (%rdi), %zmm0
599 ; AVX512BW-NEXT: retq
603 ; AVX512VL-NEXT
604 ; AVX512VL-NEXT: vmovntdqa 32(%rdi), %ymm1
605 ; AVX512VL-NEXT: retq
616 ; SSE-NEXT: addps (%rdi), %xmm0
617 ; SSE-NEXT: retq
621 ; AVX-NEXT: vaddps (%rdi), %xmm0, %xmm0
622 ; AVX-NEXT: retq
626 ; AVX512-NEXT: vaddps (%rdi), %xmm0, %xmm0
627 ; AVX512-NEXT: retq
636 ; SSE-NEXT: paddd (%rdi), %xmm0
637 ; SSE-NEXT: retq
641 ; AVX-NEXT: vpaddd (%rdi), %xmm0, %xmm0
642 ; AVX-NEXT: retq
646 ; AVX512-NEXT: vpaddd (%rdi), %xmm0, %xmm0
647 ; AVX512-NEXT: retq
656 ; SSE-NEXT: addpd (%rdi), %xmm0
657 ; SSE-NEXT: retq
661 ; AVX-NEXT: vaddpd (%rdi), %xmm0, %xmm0
662 ; AVX-NEXT: retq
666 ; AVX512-NEXT: vaddpd (%rdi), %xmm0, %xmm0
667 ; AVX512-NEXT: retq
676 ; SSE-NEXT: paddq (%rdi), %xmm0
677 ; SSE-NEXT: retq
681 ; AVX-NEXT: vpaddq (%rdi), %xmm0, %xmm0
682 ; AVX-NEXT: retq
686 ; AVX512-NEXT: vpaddq (%rdi), %xmm0, %xmm0
687 ; AVX512-NEXT: retq
696 ; SSE-NEXT: paddw (%rdi), %xmm0
697 ; SSE-NEXT: retq
701 ; AVX-NEXT: vpaddw (%rdi), %xmm0, %xmm0
702 ; AVX-NEXT: retq
706 ; AVX512-NEXT: vpaddw (%rdi), %xmm0, %xmm0
707 ; AVX512-NEXT: retq
716 ; SSE-NEXT: paddb (%rdi), %xmm0
717 ; SSE-NEXT: retq
721 ; AVX-NEXT: vpaddb (%rdi), %xmm0, %xmm0
722 ; AVX-NEXT: retq
726 ; AVX512-NEXT: vpaddb (%rdi), %xmm0, %xmm0
727 ; AVX512-NEXT: retq
738 ; SSE-NEXT: addps (%rdi), %xmm0
739 ; SSE-NEXT: addps 16(%rdi), %xmm1
740 ; SSE-NEXT: retq
744 ; AVX-NEXT: vaddps (%rdi), %ymm0, %ymm0
745 ; AVX-NEXT: retq
749 ; AVX512-NEXT: vaddps (%rdi), %ymm0, %ymm0
750 ; AVX512-NEXT: retq
759 ; SSE-NEXT: paddd (%rdi), %xmm0
760 ; SSE-NEXT: paddd 16(%rdi), %xmm1
761 ; SSE-NEXT: retq
765 ; AVX1-NEXT: vmovaps (%rdi), %ymm1
766 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm2
767 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm3
768 ; AVX1-NEXT: vpaddd %xmm3, %xmm2, %xmm2
769 ; AVX1-NEXT: vpaddd %xmm1, %xmm0, %xmm0
770 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm0, %ymm0
771 ; AVX1-NEXT: retq
775 ; AVX2-NEXT: vpaddd (%rdi), %ymm0, %ymm0
776 ; AVX2-NEXT: retq
780 ; AVX512-NEXT: vpaddd (%rdi), %ymm0, %ymm0
781 ; AVX512-NEXT: retq
790 ; SSE-NEXT: addpd (%rdi), %xmm0
791 ; SSE-NEXT: addpd 16(%rdi), %xmm1
792 ; SSE-NEXT: retq
796 ; AVX-NEXT: vaddpd (%rdi), %ymm0, %ymm0
797 ; AVX-NEXT: retq
801 ; AVX512-NEXT: vaddpd (%rdi), %ymm0, %ymm0
802 ; AVX512-NEXT: retq
811 ; SSE-NEXT: paddq (%rdi), %xmm0
812 ; SSE-NEXT: paddq 16(%rdi), %xmm1
813 ; SSE-NEXT: retq
817 ; AVX1-NEXT: vmovaps (%rdi), %ymm1
818 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm2
819 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm3
820 ; AVX1-NEXT: vpaddq %xmm3, %xmm2, %xmm2
821 ; AVX1-NEXT: vpaddq %xmm1, %xmm0, %xmm0
822 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm0, %ymm0
823 ; AVX1-NEXT: retq
827 ; AVX2-NEXT: vpaddq (%rdi), %ymm0, %ymm0
828 ; AVX2-NEXT: retq
832 ; AVX512-NEXT: vpaddq (%rdi), %ymm0, %ymm0
833 ; AVX512-NEXT: retq
842 ; SSE-NEXT: paddw (%rdi), %xmm0
843 ; SSE-NEXT: paddw 16(%rdi), %xmm1
844 ; SSE-NEXT: retq
848 ; AVX1-NEXT: vmovaps (%rdi), %ymm1
849 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm2
850 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm3
851 ; AVX1-NEXT: vpaddw %xmm3, %xmm2, %xmm2
852 ; AVX1-NEXT: vpaddw %xmm1, %xmm0, %xmm0
853 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm0, %ymm0
854 ; AVX1-NEXT: retq
858 ; AVX2-NEXT: vpaddw (%rdi), %ymm0, %ymm0
859 ; AVX2-NEXT: retq
863 ; AVX512-NEXT: vpaddw (%rdi), %ymm0, %ymm0
864 ; AVX512-NEXT: retq
873 ; SSE-NEXT: paddb (%rdi), %xmm0
874 ; SSE-NEXT: paddb 16(%rdi), %xmm1
875 ; SSE-NEXT: retq
879 ; AVX1-NEXT: vmovaps (%rdi), %ymm1
880 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm2
881 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm3
882 ; AVX1-NEXT: vpaddb %xmm3, %xmm2, %xmm2
883 ; AVX1-NEXT: vpaddb %xmm1, %xmm0, %xmm0
884 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm0, %ymm0
885 ; AVX1-NEXT: retq
889 ; AVX2-NEXT: vpaddb (%rdi), %ymm0, %ymm0
890 ; AVX2-NEXT: retq
894 ; AVX512-NEXT: vpaddb (%rdi), %ymm0, %ymm0
895 ; AVX512-NEXT: retq
906 ; SSE-NEXT: addps (%rdi), %xmm0
907 ; SSE-NEXT: addps 16(%rdi), %xmm1
908 ; SSE-NEXT: addps 32(%rdi), %xmm2
909 ; SSE-NEXT: addps 48(%rdi), %xmm3
910 ; SSE-NEXT: retq
914 ; AVX-NEXT: vaddps (%rdi), %ymm0, %ymm0
915 ; AVX-NEXT: vaddps 32(%rdi), %ymm1, %ymm1
916 ; AVX-NEXT: retq
920 ; AVX512-NEXT: vaddps (%rdi), %zmm0, %zmm0
921 ; AVX512-NEXT: retq
930 ; SSE-NEXT: paddd (%rdi), %xmm0
931 ; SSE-NEXT: paddd 16(%rdi), %xmm1
932 ; SSE-NEXT: paddd 32(%rdi), %xmm2
933 ; SSE-NEXT: paddd 48(%rdi), %xmm3
934 ; SSE-NEXT: retq
938 ; AVX1-NEXT: vmovaps (%rdi), %ymm2
939 ; AVX1-NEXT: vmovaps 32(%rdi), %ymm3
940 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm4
941 ; AVX1-NEXT: vextractf128 $1, %ymm2, %xmm5
942 ; AVX1-NEXT: vpaddd %xmm5, %xmm4, %xmm4
943 ; AVX1-NEXT: vpaddd %xmm2, %xmm0, %xmm0
944 ; AVX1-NEXT: vinsertf128 $1, %xmm4, %ymm0, %ymm0
945 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm2
946 ; AVX1-NEXT: vextractf128 $1, %ymm3, %xmm4
947 ; AVX1-NEXT: vpaddd %xmm4, %xmm2, %xmm2
948 ; AVX1-NEXT: vpaddd %xmm3, %xmm1, %xmm1
949 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm1, %ymm1
950 ; AVX1-NEXT: retq
954 ; AVX2-NEXT: vpaddd (%rdi), %ymm0, %ymm0
955 ; AVX2-NEXT: vpaddd 32(%rdi), %ymm1, %ymm1
956 ; AVX2-NEXT: retq
960 ; AVX512-NEXT: vpaddd (%rdi), %zmm0, %zmm0
961 ; AVX512-NEXT: retq
970 ; SSE-NEXT: addpd (%rdi), %xmm0
971 ; SSE-NEXT: addpd 16(%rdi), %xmm1
972 ; SSE-NEXT: addpd 32(%rdi), %xmm2
973 ; SSE-NEXT: addpd 48(%rdi), %xmm3
974 ; SSE-NEXT: retq
978 ; AVX-NEXT: vaddpd (%rdi), %ymm0, %ymm0
979 ; AVX-NEXT: vaddpd 32(%rdi), %ymm1, %ymm1
980 ; AVX-NEXT: retq
984 ; AVX512-NEXT: vaddpd (%rdi), %zmm0, %zmm0
985 ; AVX512-NEXT: retq
994 ; SSE-NEXT: paddq (%rdi), %xmm0
995 ; SSE-NEXT: paddq 16(%rdi), %xmm1
996 ; SSE-NEXT: paddq 32(%rdi), %xmm2
997 ; SSE-NEXT: paddq 48(%rdi), %xmm3
998 ; SSE-NEXT: retq
1002 ; AVX1-NEXT: vmovaps (%rdi), %ymm2
1003 ; AVX1-NEXT: vmovaps 32(%rdi), %ymm3
1004 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm4
1005 ; AVX1-NEXT: vextractf128 $1, %ymm2, %xmm5
1006 ; AVX1-NEXT: vpaddq %xmm5, %xmm4, %xmm4
1007 ; AVX1-NEXT: vpaddq %xmm2, %xmm0, %xmm0
1008 ; AVX1-NEXT: vinsertf128 $1, %xmm4, %ymm0, %ymm0
1009 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm2
1010 ; AVX1-NEXT: vextractf128 $1, %ymm3, %xmm4
1011 ; AVX1-NEXT: vpaddq %xmm4, %xmm2, %xmm2
1012 ; AVX1-NEXT: vpaddq %xmm3, %xmm1, %xmm1
1013 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm1, %ymm1
1014 ; AVX1-NEXT: retq
1018 ; AVX2-NEXT: vpaddq (%rdi), %ymm0, %ymm0
1019 ; AVX2-NEXT: vpaddq 32(%rdi), %ymm1, %ymm1
1020 ; AVX2-NEXT: retq
1024 ; AVX512-NEXT: vpaddq (%rdi), %zmm0, %zmm0
1025 ; AVX512-NEXT: retq
1034 ; SSE-NEXT: paddw (%rdi), %xmm0
1035 ; SSE-NEXT: paddw 16(%rdi), %xmm1
1036 ; SSE-NEXT: paddw 32(%rdi), %xmm2
1037 ; SSE-NEXT: paddw 48(%rdi), %xmm3
1038 ; SSE-NEXT: retq
1042 ; AVX1-NEXT: vmovaps (%rdi), %ymm2
1043 ; AVX1-NEXT: vmovaps 32(%rdi), %ymm3
1044 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm4
1045 ; AVX1-NEXT: vextractf128 $1, %ymm2, %xmm5
1046 ; AVX1-NEXT: vpaddw %xmm5, %xmm4, %xmm4
1047 ; AVX1-NEXT: vpaddw %xmm2, %xmm0, %xmm0
1048 ; AVX1-NEXT: vinsertf128 $1, %xmm4, %ymm0, %ymm0
1049 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm2
1050 ; AVX1-NEXT: vextractf128 $1, %ymm3, %xmm4
1051 ; AVX1-NEXT: vpaddw %xmm4, %xmm2, %xmm2
1052 ; AVX1-NEXT: vpaddw %xmm3, %xmm1, %xmm1
1053 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm1, %ymm1
1054 ; AVX1-NEXT: retq
1058 ; AVX2-NEXT: vpaddw (%rdi), %ymm0, %ymm0
1059 ; AVX2-NEXT: vpaddw 32(%rdi), %ymm1, %ymm1
1060 ; AVX2-NEXT: retq
1064 ; AVX512F-NEXT: vpaddw (%rdi), %ymm0, %ymm0
1065 ; AVX512F-NEXT: vpaddw 32(%rdi), %ymm1, %ymm1
1066 ; AVX512F-NEXT: retq
1070 ; AVX512BW-NEXT: vpaddw (%rdi), %zmm0, %zmm0
1071 ; AVX512BW-NEXT: retq
1075 ; AVX512VL-NEXT: vpaddw (%rdi), %ymm0, %ymm0
1076 ; AVX512VL-NEXT: vpaddw 32(%rdi), %ymm1, %ymm1
1077 ; AVX512VL-NEXT: retq
1086 ; SSE-NEXT: paddb (%rdi), %xmm0
1087 ; SSE-NEXT: paddb 16(%rdi), %xmm1
1088 ; SSE-NEXT: paddb 32(%rdi), %xmm2
1089 ; SSE-NEXT: paddb 48(%rdi), %xmm3
1090 ; SSE-NEXT: retq
1094 ; AVX1-NEXT: vmovaps (%rdi), %ymm2
1095 ; AVX1-NEXT: vmovaps 32(%rdi), %ymm3
1096 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm4
1097 ; AVX1-NEXT: vextractf128 $1, %ymm2, %xmm5
1098 ; AVX1-NEXT: vpaddb %xmm5, %xmm4, %xmm4
1099 ; AVX1-NEXT: vpaddb %xmm2, %xmm0, %xmm0
1100 ; AVX1-NEXT: vinsertf128 $1, %xmm4, %ymm0, %ymm0
1101 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm2
1102 ; AVX1-NEXT: vextractf128 $1, %ymm3, %xmm4
1103 ; AVX1-NEXT: vpaddb %xmm4, %xmm2, %xmm2
1104 ; AVX1-NEXT: vpaddb %xmm3, %xmm1, %xmm1
1105 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm1, %ymm1
1106 ; AVX1-NEXT: retq
1110 ; AVX2-NEXT: vpaddb (%rdi), %ymm0, %ymm0
1111 ; AVX2-NEXT: vpaddb 32(%rdi), %ymm1, %ymm1
1112 ; AVX2-NEXT: retq
1116 ; AVX512F-NEXT: vpaddb (%rdi), %ymm0, %ymm0
1117 ; AVX512F-NEXT: vpaddb 32(%rdi), %ymm1, %ymm1
1118 ; AVX512F-NEXT: retq
1122 ; AVX512BW-NEXT: vpaddb (%rdi), %zmm0, %zmm0
1123 ; AVX512BW-NEXT: retq
1127 ; AVX512VL-NEXT: vpaddb (%rdi), %ymm0, %ymm0
1128 ; AVX512VL-NEXT: vpaddb 32(%rdi), %ymm1, %ymm1
1129 ; AVX512VL-NEXT: retq
1141 ; SSE-NEXT: movups (%rdi), %xmm0
1142 ; SSE-NEXT: retq
1146 ; AVX-NEXT: vmovups (%rdi), %xmm0
1147 ; AVX-NEXT: retq
1151 ; AVX512-NEXT: vmovups (%rdi), %xmm0
1152 ; AVX512-NEXT: retq
1160 ; SSE-NEXT: movups (%rdi), %xmm0
1161 ; SSE-NEXT: retq
1165 ; AVX-NEXT: vmovups (%rdi), %xmm0
1166 ; AVX-NEXT: retq
1170 ; AVX512F-NEXT: vmovups (%rdi), %xmm0
1171 ; AVX512F-NEXT: retq
1175 ; AVX512BW-NEXT: vmovups (%rdi), %xmm0
1176 ; AVX512BW-NEXT: retq
1180 ; AVX512VL-NEXT: vmovdqu32 (%rdi), %xmm0
1181 ; AVX512VL-NEXT: retq
1189 ; SSE-NEXT: movups (%rdi), %xmm0
1190 ; SSE-NEXT: retq
1194 ; AVX-NEXT: vmovups (%rdi), %xmm0
1195 ; AVX-NEXT: retq
1199 ; AVX512F-NEXT: vmovups (%rdi), %xmm0
1200 ; AVX512F-NEXT: retq
1204 ; AVX512BW-NEXT: vmovups (%rdi), %xmm0
1205 ; AVX512BW-NEXT: retq
1209 ; AVX512VL-NEXT: vmovupd (%rdi), %xmm0
1210 ; AVX512VL-NEXT: retq
1218 ; SSE-NEXT: movups (%rdi), %xmm0
1219 ; SSE-NEXT: retq
1223 ; AVX-NEXT: vmovups (%rdi), %xmm0
1224 ; AVX-NEXT: retq
1228 ; AVX512F-NEXT: vmovups (%rdi), %xmm0
1229 ; AVX512F-NEXT: retq
1233 ; AVX512BW-NEXT: vmovups (%rdi), %xmm0
1234 ; AVX512BW-NEXT: retq
1238 ; AVX512VL-NEXT: vmovdqu64 (%rdi), %xmm0
1239 ; AVX512VL-NEXT: retq
1247 ; SSE-NEXT: movups (%rdi), %xmm0
1248 ; SSE-NEXT: retq
1252 ; AVX-NEXT: vmovups (%rdi), %xmm0
1253 ; AVX-NEXT: retq
1257 ; AVX512F-NEXT: vmovups (%rdi), %xmm0
1258 ; AVX512F-NEXT: retq
1262 ; AVX512BW-NEXT: vmovups (%rdi), %xmm0
1263 ; AVX512BW-NEXT: retq
1267 ; AVX512VL-NEXT: vmovdqu64 (%rdi), %xmm0
1268 ; AVX512VL-NEXT: retq
1276 ; SSE-NEXT: movups (%rdi), %xmm0
1277 ; SSE-NEXT: retq
1281 ; AVX-NEXT: vmovups (%rdi), %xmm0
1282 ; AVX-NEXT: retq
1286 ; AVX512F-NEXT: vmovups (%rdi), %xmm0
1287 ; AVX512F-NEXT: retq
1291 ; AVX512BW-NEXT: vmovups (%rdi), %xmm0
1292 ; AVX512BW-NEXT: retq
1296 ; AVX512VL-NEXT: vmovdqu64 (%rdi), %xmm0
1297 ; AVX512VL-NEXT: retq
1307 ; SSE-NEXT: movups (%rdi), %xmm0
1308 ; SSE-NEXT: movups 16(%rdi), %xmm1
1309 ; SSE-NEXT: retq
1313 ; AVX-NEXT: vmovups (%rdi), %ymm0
1314 ; AVX-NEXT: retq
1318 ; AVX512-NEXT: vmovups (%rdi), %ymm0
1319 ; AVX512-NEXT: retq
1327 ; SSE-NEXT: movups (%rdi), %xmm0
1328 ; SSE-NEXT: movups 16(%rdi), %xmm1
1329 ; SSE-NEXT: retq
1333 ; AVX-NEXT: vmovups (%rdi), %ymm0
1334 ; AVX-NEXT: retq
1338 ; AVX512F-NEXT: vmovups (%rdi), %ymm0
1339 ; AVX512F-NEXT: retq
1343 ; AVX512BW-NEXT: vmovups (%rdi), %ymm0
1344 ; AVX512BW-NEXT: retq
1348 ; AVX512VL-NEXT: vmovdqu32 (%rdi), %ymm0
1349 ; AVX512VL-NEXT: retq
1357 ; SSE-NEXT: movups (%rdi), %xmm0
1358 ; SSE-NEXT: movups 16(%rdi), %xmm1
1359 ; SSE-NEXT: retq
1363 ; AVX-NEXT: vmovups (%rdi), %ymm0
1364 ; AVX-NEXT: retq
1368 ; AVX512F-NEXT: vmovups (%rdi), %ymm0
1369 ; AVX512F-NEXT: retq
1373 ; AVX512BW-NEXT: vmovups (%rdi), %ymm0
1374 ; AVX512BW-NEXT: retq
1378 ; AVX512VL-NEXT: vmovupd (%rdi), %ymm0
1379 ; AVX512VL-NEXT: retq
1387 ; SSE-NEXT: movups (%rdi), %xmm0
1388 ; SSE-NEXT: movups 16(%rdi), %xmm1
1389 ; SSE-NEXT: retq
1393 ; AVX-NEXT: vmovups (%rdi), %ymm0
1394 ; AVX-NEXT: retq
1398 ; AVX512F-NEXT: vmovups (%rdi), %ymm0
1399 ; AVX512F-NEXT: retq
1403 ; AVX512BW-NEXT: vmovups (%rdi), %ymm0
1404 ; AVX512BW-NEXT: retq
1408 ; AVX512VL-NEXT: vmovdqu64 (%rdi), %ymm0
1409 ; AVX512VL-NEXT: retq
1417 ; SSE-NEXT: movups (%rdi), %xmm0
1418 ; SSE-NEXT: movups 16(%rdi), %xmm1
1419 ; SSE-NEXT: retq
1423 ; AVX-NEXT: vmovups (%rdi), %ymm0
1424 ; AVX-NEXT: retq
1428 ; AVX512F-NEXT: vmovups (%rdi), %ymm0
1429 ; AVX512F-NEXT: retq
1433 ; AVX512BW-NEXT: vmovups (%rdi), %ymm0
1434 ; AVX512BW-NEXT: retq
1438 ; AVX512VL-NEXT: vmovdqu64 (%rdi), %ymm0
1439 ; AVX512VL-NEXT: retq
1447 ; SSE-NEXT: movups (%rdi), %xmm0
1448 ; SSE-NEXT: movups 16(%rdi), %xmm1
1449 ; SSE-NEXT: retq
1453 ; AVX-NEXT: vmovups (%rdi), %ymm0
1454 ; AVX-NEXT: retq
1458 ; AVX512F-NEXT: vmovups (%rdi), %ymm0
1459 ; AVX512F-NEXT: retq
1463 ; AVX512BW-NEXT: vmovups (%rdi), %ymm0
1464 ; AVX512BW-NEXT: retq
1468 ; AVX512VL-NEXT: vmovdqu64 (%rdi), %ymm0
1469 ; AVX512VL-NEXT: retq
1479 ; SSE-NEXT: movups (%rdi), %xmm0
1480 ; SSE-NEXT: movups 16(%rdi), %xmm1
1481 ; SSE-NEXT: movups 32(%rdi), %xmm2
1482 ; SSE-NEXT: movups 48(%rdi), %xmm3
1483 ; SSE-NEXT: retq
1487 ; AVX-NEXT: vmovups (%rdi), %ymm0
1488 ; AVX-NEXT: vmovups 32(%rdi), %ymm1
1489 ; AVX-NEXT: retq
1493 ; AVX512-NEXT: vmovups (%rdi), %zmm0
1494 ; AVX512-NEXT: retq
1502 ; SSE-NEXT: movups (%rdi), %xmm0
1503 ; SSE-NEXT: movups 16(%rdi), %xmm1
1504 ; SSE-NEXT: movups 32(%rdi), %xmm2
1505 ; SSE-NEXT: movups 48(%rdi), %xmm3
1506 ; SSE-NEXT: retq
1510 ; AVX-NEXT: vmovups (%rdi), %ymm0
1511 ; AVX-NEXT: vmovups 32(%rdi), %ymm1
1512 ; AVX-NEXT: retq
1516 ; AVX512-NEXT: vmovdqu32 (%rdi), %zmm0
1517 ; AVX512-NEXT: retq
1525 ; SSE-NEXT: movups (%rdi), %xmm0
1526 ; SSE-NEXT: movups 16(%rdi), %xmm1
1527 ; SSE-NEXT: movups 32(%rdi), %xmm2
1528 ; SSE-NEXT: movups 48(%rdi), %xmm3
1529 ; SSE-NEXT: retq
1533 ; AVX-NEXT: vmovups (%rdi), %ymm0
1534 ; AVX-NEXT: vmovups 32(%rdi), %ymm1
1535 ; AVX-NEXT: retq
1539 ; AVX512-NEXT: vmovupd (%rdi), %zmm0
1540 ; AVX512-NEXT: retq
1548 ; SSE-NEXT: movups (%rdi), %xmm0
1549 ; SSE-NEXT: movups 16(%rdi), %xmm1
1550 ; SSE-NEXT: movups 32(%rdi), %xmm2
1551 ; SSE-NEXT: movups 48(%rdi), %xmm3
1552 ; SSE-NEXT: retq
1556 ; AVX-NEXT: vmovups (%rdi), %ymm0
1557 ; AVX-NEXT: vmovups 32(%rdi), %ymm1
1558 ; AVX-NEXT: retq
1562 ; AVX512-NEXT: vmovdqu64 (%rdi), %zmm0
1563 ; AVX512-NEXT: retq
1571 ; SSE-NEXT: movups (%rdi), %xmm0
1572 ; SSE-NEXT: movups 16(%rdi), %xmm1
1573 ; SSE-NEXT: movups 32(%rdi), %xmm2
1574 ; SSE-NEXT: movups 48(%rdi), %xmm3
1575 ; SSE-NEXT: retq
1579 ; AVX-NEXT: vmovups (%rdi), %ymm0
1580 ; AVX-NEXT: vmovups 32(%rdi), %ymm1
1581 ; AVX-NEXT: retq
1585 ; AVX512F-NEXT: vmovups (%rdi), %ymm0
1586 ; AVX512F-NEXT: vmovups 32(%rdi), %ymm1
1587 ; AVX512F-NEXT: retq
1591 ; AVX512BW-NEXT: vmovdqu16 (%rdi), %zmm0
1592 ; AVX512BW-NEXT: retq
1596 ; AVX512VL-NEXT: vmovdqu64 (%rdi), %ymm0
1597 ; AVX512VL-NEXT: vmovdqu64 32(%rdi), %ymm1
1598 ; AVX512VL-NEXT: retq
1606 ; SSE-NEXT: movups (%rdi), %xmm0
1607 ; SSE-NEXT: movups 16(%rdi), %xmm1
1608 ; SSE-NEXT: movups 32(%rdi), %xmm2
1609 ; SSE-NEXT: movups 48(%rdi), %xmm3
1610 ; SSE-NEXT: retq
1614 ; AVX-NEXT: vmovups (%rdi), %ymm0
1615 ; AVX-NEXT: vmovups 32(%rdi), %ymm1
1616 ; AVX-NEXT: retq
1620 ; AVX512F-NEXT: vmovups (%rdi), %ymm0
1621 ; AVX512F-NEXT: vmovups 32(%rdi), %ymm1
1622 ; AVX512F-NEXT: retq
1626 ; AVX512BW-NEXT: vmovdqu8 (%rdi), %zmm0
1627 ; AVX512BW-NEXT: retq
1631 ; AVX512VL-NEXT: vmovdqu64 (%rdi), %ymm0
1632 ; AVX512VL-NEXT: vmovdqu64 32(%rdi), %ymm1
1633 ; AVX512VL-NEXT: retq
