1 /*===------------- avx512bwintrin.h - AVX512BW intrinsics ------------------=== 2 * 3 * 4 * Permission is hereby granted, free of charge, to any person obtaining a copy 5 * of this software and associated documentation files (the "Software"), to deal 6 * in the Software without restriction, including without limitation the rights 7 * to use, copy, modify, merge, publish, distribute, sublicense, and/or sell 8 * copies of the Software, and to permit persons to whom the Software is 9 * furnished to do so, subject to the following conditions: 10 * 11 * The above copyright notice and this permission notice shall be included in 12 * all copies or substantial portions of the Software. 13 * 14 * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR 15 * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, 16 * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE 17 * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER 18 * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, 19 * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN 20 * THE SOFTWARE. 21 * 22 *===-----------------------------------------------------------------------=== 23 */ 24 #ifndef __IMMINTRIN_H 25 #error "Never use <avx512bwintrin.h> directly; include <immintrin.h> instead." 26 #endif 27 28 #ifndef __AVX512BWINTRIN_H 29 #define __AVX512BWINTRIN_H 30 31 typedef unsigned int __mmask32; 32 typedef unsigned long long __mmask64; 33 typedef char __v64qi __attribute__ ((__vector_size__ (64))); 34 typedef short __v32hi __attribute__ ((__vector_size__ (64))); 35 36 /* Define the default attributes for the functions in this file. */ 37 #define __DEFAULT_FN_ATTRS __attribute__((__always_inline__, __nodebug__, __target__("avx512bw"))) 38 39 static __inline __v64qi __DEFAULT_FN_ATTRS 40 _mm512_setzero_qi(void) { 41 return (__v64qi){ 0, 0, 0, 0, 0, 0, 0, 0, 42 0, 0, 0, 0, 0, 0, 0, 0, 43 0, 0, 0, 0, 0, 0, 0, 0, 44 0, 0, 0, 0, 0, 0, 0, 0, 45 0, 0, 0, 0, 0, 0, 0, 0, 46 0, 0, 0, 0, 0, 0, 0, 0, 47 0, 0, 0, 0, 0, 0, 0, 0, 48 0, 0, 0, 0, 0, 0, 0, 0 }; 49 } 50 51 static __inline __v32hi __DEFAULT_FN_ATTRS 52 _mm512_setzero_hi(void) { 53 return (__v32hi){ 0, 0, 0, 0, 0, 0, 0, 0, 54 0, 0, 0, 0, 0, 0, 0, 0, 55 0, 0, 0, 0, 0, 0, 0, 0, 56 0, 0, 0, 0, 0, 0, 0, 0 }; 57 } 58 59 /* Integer compare */ 60 61 static __inline__ __mmask64 __DEFAULT_FN_ATTRS 62 _mm512_cmpeq_epi8_mask(__m512i __a, __m512i __b) { 63 return (__mmask64)__builtin_ia32_pcmpeqb512_mask((__v64qi)__a, (__v64qi)__b, 64 (__mmask64)-1); 65 } 66 67 static __inline__ __mmask64 __DEFAULT_FN_ATTRS 68 _mm512_mask_cmpeq_epi8_mask(__mmask64 __u, __m512i __a, __m512i __b) { 69 return (__mmask64)__builtin_ia32_pcmpeqb512_mask((__v64qi)__a, (__v64qi)__b, 70 __u); 71 } 72 73 static __inline__ __mmask64 __DEFAULT_FN_ATTRS 74 _mm512_cmpeq_epu8_mask(__m512i __a, __m512i __b) { 75 return (__mmask64)__builtin_ia32_ucmpb512_mask((__v64qi)__a, (__v64qi)__b, 0, 76 (__mmask64)-1); 77 } 78 79 static __inline__ __mmask64 __DEFAULT_FN_ATTRS 80 _mm512_mask_cmpeq_epu8_mask(__mmask64 __u, __m512i __a, __m512i __b) { 81 return (__mmask64)__builtin_ia32_ucmpb512_mask((__v64qi)__a, (__v64qi)__b, 0, 82 __u); 83 } 84 85 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 86 _mm512_cmpeq_epi16_mask(__m512i __a, __m512i __b) { 87 return (__mmask32)__builtin_ia32_pcmpeqw512_mask((__v32hi)__a, (__v32hi)__b, 88 (__mmask32)-1); 89 } 90 91 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 92 _mm512_mask_cmpeq_epi16_mask(__mmask32 __u, __m512i __a, __m512i __b) { 93 return (__mmask32)__builtin_ia32_pcmpeqw512_mask((__v32hi)__a, (__v32hi)__b, 94 __u); 95 } 96 97 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 98 _mm512_cmpeq_epu16_mask(__m512i __a, __m512i __b) { 99 return (__mmask32)__builtin_ia32_ucmpw512_mask((__v32hi)__a, (__v32hi)__b, 0, 100 (__mmask32)-1); 101 } 102 103 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 104 _mm512_mask_cmpeq_epu16_mask(__mmask32 __u, __m512i __a, __m512i __b) { 105 return (__mmask32)__builtin_ia32_ucmpw512_mask((__v32hi)__a, (__v32hi)__b, 0, 106 __u); 107 } 108 109 static __inline__ __mmask64 __DEFAULT_FN_ATTRS 110 _mm512_cmpge_epi8_mask(__m512i __a, __m512i __b) { 111 return (__mmask64)__builtin_ia32_cmpb512_mask((__v64qi)__a, (__v64qi)__b, 5, 112 (__mmask64)-1); 113 } 114 115 static __inline__ __mmask64 __DEFAULT_FN_ATTRS 116 _mm512_mask_cmpge_epi8_mask(__mmask64 __u, __m512i __a, __m512i __b) { 117 return (__mmask64)__builtin_ia32_cmpb512_mask((__v64qi)__a, (__v64qi)__b, 5, 118 __u); 119 } 120 121 static __inline__ __mmask64 __DEFAULT_FN_ATTRS 122 _mm512_cmpge_epu8_mask(__m512i __a, __m512i __b) { 123 return (__mmask64)__builtin_ia32_ucmpb512_mask((__v64qi)__a, (__v64qi)__b, 5, 124 (__mmask64)-1); 125 } 126 127 static __inline__ __mmask64 __DEFAULT_FN_ATTRS 128 _mm512_mask_cmpge_epu8_mask(__mmask64 __u, __m512i __a, __m512i __b) { 129 return (__mmask64)__builtin_ia32_ucmpb512_mask((__v64qi)__a, (__v64qi)__b, 5, 130 __u); 131 } 132 133 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 134 _mm512_cmpge_epi16_mask(__m512i __a, __m512i __b) { 135 return (__mmask32)__builtin_ia32_cmpw512_mask((__v32hi)__a, (__v32hi)__b, 5, 136 (__mmask32)-1); 137 } 138 139 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 140 _mm512_mask_cmpge_epi16_mask(__mmask32 __u, __m512i __a, __m512i __b) { 141 return (__mmask32)__builtin_ia32_cmpw512_mask((__v32hi)__a, (__v32hi)__b, 5, 142 __u); 143 } 144 145 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 146 _mm512_cmpge_epu16_mask(__m512i __a, __m512i __b) { 147 return (__mmask32)__builtin_ia32_ucmpw512_mask((__v32hi)__a, (__v32hi)__b, 5, 148 (__mmask32)-1); 149 } 150 151 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 152 _mm512_mask_cmpge_epu16_mask(__mmask32 __u, __m512i __a, __m512i __b) { 153 return (__mmask32)__builtin_ia32_ucmpw512_mask((__v32hi)__a, (__v32hi)__b, 5, 154 __u); 155 } 156 157 static __inline__ __mmask64 __DEFAULT_FN_ATTRS 158 _mm512_cmpgt_epi8_mask(__m512i __a, __m512i __b) { 159 return (__mmask64)__builtin_ia32_pcmpgtb512_mask((__v64qi)__a, (__v64qi)__b, 160 (__mmask64)-1); 161 } 162 163 static __inline__ __mmask64 __DEFAULT_FN_ATTRS 164 _mm512_mask_cmpgt_epi8_mask(__mmask64 __u, __m512i __a, __m512i __b) { 165 return (__mmask64)__builtin_ia32_pcmpgtb512_mask((__v64qi)__a, (__v64qi)__b, 166 __u); 167 } 168 169 static __inline__ __mmask64 __DEFAULT_FN_ATTRS 170 _mm512_cmpgt_epu8_mask(__m512i __a, __m512i __b) { 171 return (__mmask64)__builtin_ia32_ucmpb512_mask((__v64qi)__a, (__v64qi)__b, 6, 172 (__mmask64)-1); 173 } 174 175 static __inline__ __mmask64 __DEFAULT_FN_ATTRS 176 _mm512_mask_cmpgt_epu8_mask(__mmask64 __u, __m512i __a, __m512i __b) { 177 return (__mmask64)__builtin_ia32_ucmpb512_mask((__v64qi)__a, (__v64qi)__b, 6, 178 __u); 179 } 180 181 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 182 _mm512_cmpgt_epi16_mask(__m512i __a, __m512i __b) { 183 return (__mmask32)__builtin_ia32_pcmpgtw512_mask((__v32hi)__a, (__v32hi)__b, 184 (__mmask32)-1); 185 } 186 187 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 188 _mm512_mask_cmpgt_epi16_mask(__mmask32 __u, __m512i __a, __m512i __b) { 189 return (__mmask32)__builtin_ia32_pcmpgtw512_mask((__v32hi)__a, (__v32hi)__b, 190 __u); 191 } 192 193 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 194 _mm512_cmpgt_epu16_mask(__m512i __a, __m512i __b) { 195 return (__mmask32)__builtin_ia32_ucmpw512_mask((__v32hi)__a, (__v32hi)__b, 6, 196 (__mmask32)-1); 197 } 198 199 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 200 _mm512_mask_cmpgt_epu16_mask(__mmask32 __u, __m512i __a, __m512i __b) { 201 return (__mmask32)__builtin_ia32_ucmpw512_mask((__v32hi)__a, (__v32hi)__b, 6, 202 __u); 203 } 204 205 static __inline__ __mmask64 __DEFAULT_FN_ATTRS 206 _mm512_cmple_epi8_mask(__m512i __a, __m512i __b) { 207 return (__mmask64)__builtin_ia32_cmpb512_mask((__v64qi)__a, (__v64qi)__b, 2, 208 (__mmask64)-1); 209 } 210 211 static __inline__ __mmask64 __DEFAULT_FN_ATTRS 212 _mm512_mask_cmple_epi8_mask(__mmask64 __u, __m512i __a, __m512i __b) { 213 return (__mmask64)__builtin_ia32_cmpb512_mask((__v64qi)__a, (__v64qi)__b, 2, 214 __u); 215 } 216 217 static __inline__ __mmask64 __DEFAULT_FN_ATTRS 218 _mm512_cmple_epu8_mask(__m512i __a, __m512i __b) { 219 return (__mmask64)__builtin_ia32_ucmpb512_mask((__v64qi)__a, (__v64qi)__b, 2, 220 (__mmask64)-1); 221 } 222 223 static __inline__ __mmask64 __DEFAULT_FN_ATTRS 224 _mm512_mask_cmple_epu8_mask(__mmask64 __u, __m512i __a, __m512i __b) { 225 return (__mmask64)__builtin_ia32_ucmpb512_mask((__v64qi)__a, (__v64qi)__b, 2, 226 __u); 227 } 228 229 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 230 _mm512_cmple_epi16_mask(__m512i __a, __m512i __b) { 231 return (__mmask32)__builtin_ia32_cmpw512_mask((__v32hi)__a, (__v32hi)__b, 2, 232 (__mmask32)-1); 233 } 234 235 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 236 _mm512_mask_cmple_epi16_mask(__mmask32 __u, __m512i __a, __m512i __b) { 237 return (__mmask32)__builtin_ia32_cmpw512_mask((__v32hi)__a, (__v32hi)__b, 2, 238 __u); 239 } 240 241 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 242 _mm512_cmple_epu16_mask(__m512i __a, __m512i __b) { 243 return (__mmask32)__builtin_ia32_ucmpw512_mask((__v32hi)__a, (__v32hi)__b, 2, 244 (__mmask32)-1); 245 } 246 247 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 248 _mm512_mask_cmple_epu16_mask(__mmask32 __u, __m512i __a, __m512i __b) { 249 return (__mmask32)__builtin_ia32_ucmpw512_mask((__v32hi)__a, (__v32hi)__b, 2, 250 __u); 251 } 252 253 static __inline__ __mmask64 __DEFAULT_FN_ATTRS 254 _mm512_cmplt_epi8_mask(__m512i __a, __m512i __b) { 255 return (__mmask64)__builtin_ia32_cmpb512_mask((__v64qi)__a, (__v64qi)__b, 1, 256 (__mmask64)-1); 257 } 258 259 static __inline__ __mmask64 __DEFAULT_FN_ATTRS 260 _mm512_mask_cmplt_epi8_mask(__mmask64 __u, __m512i __a, __m512i __b) { 261 return (__mmask64)__builtin_ia32_cmpb512_mask((__v64qi)__a, (__v64qi)__b, 1, 262 __u); 263 } 264 265 static __inline__ __mmask64 __DEFAULT_FN_ATTRS 266 _mm512_cmplt_epu8_mask(__m512i __a, __m512i __b) { 267 return (__mmask64)__builtin_ia32_ucmpb512_mask((__v64qi)__a, (__v64qi)__b, 1, 268 (__mmask64)-1); 269 } 270 271 static __inline__ __mmask64 __DEFAULT_FN_ATTRS 272 _mm512_mask_cmplt_epu8_mask(__mmask64 __u, __m512i __a, __m512i __b) { 273 return (__mmask64)__builtin_ia32_ucmpb512_mask((__v64qi)__a, (__v64qi)__b, 1, 274 __u); 275 } 276 277 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 278 _mm512_cmplt_epi16_mask(__m512i __a, __m512i __b) { 279 return (__mmask32)__builtin_ia32_cmpw512_mask((__v32hi)__a, (__v32hi)__b, 1, 280 (__mmask32)-1); 281 } 282 283 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 284 _mm512_mask_cmplt_epi16_mask(__mmask32 __u, __m512i __a, __m512i __b) { 285 return (__mmask32)__builtin_ia32_cmpw512_mask((__v32hi)__a, (__v32hi)__b, 1, 286 __u); 287 } 288 289 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 290 _mm512_cmplt_epu16_mask(__m512i __a, __m512i __b) { 291 return (__mmask32)__builtin_ia32_ucmpw512_mask((__v32hi)__a, (__v32hi)__b, 1, 292 (__mmask32)-1); 293 } 294 295 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 296 _mm512_mask_cmplt_epu16_mask(__mmask32 __u, __m512i __a, __m512i __b) { 297 return (__mmask32)__builtin_ia32_ucmpw512_mask((__v32hi)__a, (__v32hi)__b, 1, 298 __u); 299 } 300 301 static __inline__ __mmask64 __DEFAULT_FN_ATTRS 302 _mm512_cmpneq_epi8_mask(__m512i __a, __m512i __b) { 303 return (__mmask64)__builtin_ia32_cmpb512_mask((__v64qi)__a, (__v64qi)__b, 4, 304 (__mmask64)-1); 305 } 306 307 static __inline__ __mmask64 __DEFAULT_FN_ATTRS 308 _mm512_mask_cmpneq_epi8_mask(__mmask64 __u, __m512i __a, __m512i __b) { 309 return (__mmask64)__builtin_ia32_cmpb512_mask((__v64qi)__a, (__v64qi)__b, 4, 310 __u); 311 } 312 313 static __inline__ __mmask64 __DEFAULT_FN_ATTRS 314 _mm512_cmpneq_epu8_mask(__m512i __a, __m512i __b) { 315 return (__mmask64)__builtin_ia32_ucmpb512_mask((__v64qi)__a, (__v64qi)__b, 4, 316 (__mmask64)-1); 317 } 318 319 static __inline__ __mmask64 __DEFAULT_FN_ATTRS 320 _mm512_mask_cmpneq_epu8_mask(__mmask64 __u, __m512i __a, __m512i __b) { 321 return (__mmask64)__builtin_ia32_ucmpb512_mask((__v64qi)__a, (__v64qi)__b, 4, 322 __u); 323 } 324 325 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 326 _mm512_cmpneq_epi16_mask(__m512i __a, __m512i __b) { 327 return (__mmask32)__builtin_ia32_cmpw512_mask((__v32hi)__a, (__v32hi)__b, 4, 328 (__mmask32)-1); 329 } 330 331 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 332 _mm512_mask_cmpneq_epi16_mask(__mmask32 __u, __m512i __a, __m512i __b) { 333 return (__mmask32)__builtin_ia32_cmpw512_mask((__v32hi)__a, (__v32hi)__b, 4, 334 __u); 335 } 336 337 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 338 _mm512_cmpneq_epu16_mask(__m512i __a, __m512i __b) { 339 return (__mmask32)__builtin_ia32_ucmpw512_mask((__v32hi)__a, (__v32hi)__b, 4, 340 (__mmask32)-1); 341 } 342 343 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 344 _mm512_mask_cmpneq_epu16_mask(__mmask32 __u, __m512i __a, __m512i __b) { 345 return (__mmask32)__builtin_ia32_ucmpw512_mask((__v32hi)__a, (__v32hi)__b, 4, 346 __u); 347 } 348 349 static __inline__ __m512i __DEFAULT_FN_ATTRS 350 _mm512_add_epi8 (__m512i __A, __m512i __B) { 351 return (__m512i) ((__v64qi) __A + (__v64qi) __B); 352 } 353 354 static __inline__ __m512i __DEFAULT_FN_ATTRS 355 _mm512_mask_add_epi8 (__m512i __W, __mmask64 __U, __m512i __A, __m512i __B) { 356 return (__m512i) __builtin_ia32_paddb512_mask ((__v64qi) __A, 357 (__v64qi) __B, 358 (__v64qi) __W, 359 (__mmask64) __U); 360 } 361 362 static __inline__ __m512i __DEFAULT_FN_ATTRS 363 _mm512_maskz_add_epi8 (__mmask64 __U, __m512i __A, __m512i __B) { 364 return (__m512i) __builtin_ia32_paddb512_mask ((__v64qi) __A, 365 (__v64qi) __B, 366 (__v64qi) _mm512_setzero_qi(), 367 (__mmask64) __U); 368 } 369 370 static __inline__ __m512i __DEFAULT_FN_ATTRS 371 _mm512_sub_epi8 (__m512i __A, __m512i __B) { 372 return (__m512i) ((__v64qi) __A - (__v64qi) __B); 373 } 374 375 static __inline__ __m512i __DEFAULT_FN_ATTRS 376 _mm512_mask_sub_epi8 (__m512i __W, __mmask64 __U, __m512i __A, __m512i __B) { 377 return (__m512i) __builtin_ia32_psubb512_mask ((__v64qi) __A, 378 (__v64qi) __B, 379 (__v64qi) __W, 380 (__mmask64) __U); 381 } 382 383 static __inline__ __m512i __DEFAULT_FN_ATTRS 384 _mm512_maskz_sub_epi8 (__mmask64 __U, __m512i __A, __m512i __B) { 385 return (__m512i) __builtin_ia32_psubb512_mask ((__v64qi) __A, 386 (__v64qi) __B, 387 (__v64qi) _mm512_setzero_qi(), 388 (__mmask64) __U); 389 } 390 391 static __inline__ __m512i __DEFAULT_FN_ATTRS 392 _mm512_add_epi16 (__m512i __A, __m512i __B) { 393 return (__m512i) ((__v32hi) __A + (__v32hi) __B); 394 } 395 396 static __inline__ __m512i __DEFAULT_FN_ATTRS 397 _mm512_mask_add_epi16 (__m512i __W, __mmask32 __U, __m512i __A, __m512i __B) { 398 return (__m512i) __builtin_ia32_paddw512_mask ((__v32hi) __A, 399 (__v32hi) __B, 400 (__v32hi) __W, 401 (__mmask32) __U); 402 } 403 404 static __inline__ __m512i __DEFAULT_FN_ATTRS 405 _mm512_maskz_add_epi16 (__mmask32 __U, __m512i __A, __m512i __B) { 406 return (__m512i) __builtin_ia32_paddw512_mask ((__v32hi) __A, 407 (__v32hi) __B, 408 (__v32hi) _mm512_setzero_hi(), 409 (__mmask32) __U); 410 } 411 412 static __inline__ __m512i __DEFAULT_FN_ATTRS 413 _mm512_sub_epi16 (__m512i __A, __m512i __B) { 414 return (__m512i) ((__v32hi) __A - (__v32hi) __B); 415 } 416 417 static __inline__ __m512i __DEFAULT_FN_ATTRS 418 _mm512_mask_sub_epi16 (__m512i __W, __mmask32 __U, __m512i __A, __m512i __B) { 419 return (__m512i) __builtin_ia32_psubw512_mask ((__v32hi) __A, 420 (__v32hi) __B, 421 (__v32hi) __W, 422 (__mmask32) __U); 423 } 424 425 static __inline__ __m512i __DEFAULT_FN_ATTRS 426 _mm512_maskz_sub_epi16 (__mmask32 __U, __m512i __A, __m512i __B) { 427 return (__m512i) __builtin_ia32_psubw512_mask ((__v32hi) __A, 428 (__v32hi) __B, 429 (__v32hi) _mm512_setzero_hi(), 430 (__mmask32) __U); 431 } 432 433 static __inline__ __m512i __DEFAULT_FN_ATTRS 434 _mm512_mullo_epi16 (__m512i __A, __m512i __B) { 435 return (__m512i) ((__v32hi) __A * (__v32hi) __B); 436 } 437 438 static __inline__ __m512i __DEFAULT_FN_ATTRS 439 _mm512_mask_mullo_epi16 (__m512i __W, __mmask32 __U, __m512i __A, __m512i __B) { 440 return (__m512i) __builtin_ia32_pmullw512_mask ((__v32hi) __A, 441 (__v32hi) __B, 442 (__v32hi) __W, 443 (__mmask32) __U); 444 } 445 446 static __inline__ __m512i __DEFAULT_FN_ATTRS 447 _mm512_maskz_mullo_epi16 (__mmask32 __U, __m512i __A, __m512i __B) { 448 return (__m512i) __builtin_ia32_pmullw512_mask ((__v32hi) __A, 449 (__v32hi) __B, 450 (__v32hi) _mm512_setzero_hi(), 451 (__mmask32) __U); 452 } 453 454 static __inline__ __m512i __DEFAULT_FN_ATTRS 455 _mm512_mask_blend_epi8 (__mmask64 __U, __m512i __A, __m512i __W) 456 { 457 return (__m512i) __builtin_ia32_blendmb_512_mask ((__v64qi) __A, 458 (__v64qi) __W, 459 (__mmask64) __U); 460 } 461 462 static __inline__ __m512i __DEFAULT_FN_ATTRS 463 _mm512_mask_blend_epi16 (__mmask32 __U, __m512i __A, __m512i __W) 464 { 465 return (__m512i) __builtin_ia32_blendmw_512_mask ((__v32hi) __A, 466 (__v32hi) __W, 467 (__mmask32) __U); 468 } 469 470 static __inline__ __m512i __DEFAULT_FN_ATTRS 471 _mm512_abs_epi8 (__m512i __A) 472 { 473 return (__m512i) __builtin_ia32_pabsb512_mask ((__v64qi) __A, 474 (__v64qi) _mm512_setzero_qi(), 475 (__mmask64) -1); 476 } 477 478 static __inline__ __m512i __DEFAULT_FN_ATTRS 479 _mm512_mask_abs_epi8 (__m512i __W, __mmask64 __U, __m512i __A) 480 { 481 return (__m512i) __builtin_ia32_pabsb512_mask ((__v64qi) __A, 482 (__v64qi) __W, 483 (__mmask64) __U); 484 } 485 486 static __inline__ __m512i __DEFAULT_FN_ATTRS 487 _mm512_maskz_abs_epi8 (__mmask64 __U, __m512i __A) 488 { 489 return (__m512i) __builtin_ia32_pabsb512_mask ((__v64qi) __A, 490 (__v64qi) _mm512_setzero_qi(), 491 (__mmask64) __U); 492 } 493 494 static __inline__ __m512i __DEFAULT_FN_ATTRS 495 _mm512_abs_epi16 (__m512i __A) 496 { 497 return (__m512i) __builtin_ia32_pabsw512_mask ((__v32hi) __A, 498 (__v32hi) _mm512_setzero_hi(), 499 (__mmask32) -1); 500 } 501 502 static __inline__ __m512i __DEFAULT_FN_ATTRS 503 _mm512_mask_abs_epi16 (__m512i __W, __mmask32 __U, __m512i __A) 504 { 505 return (__m512i) __builtin_ia32_pabsw512_mask ((__v32hi) __A, 506 (__v32hi) __W, 507 (__mmask32) __U); 508 } 509 510 static __inline__ __m512i __DEFAULT_FN_ATTRS 511 _mm512_maskz_abs_epi16 (__mmask32 __U, __m512i __A) 512 { 513 return (__m512i) __builtin_ia32_pabsw512_mask ((__v32hi) __A, 514 (__v32hi) _mm512_setzero_hi(), 515 (__mmask32) __U); 516 } 517 518 static __inline__ __m512i __DEFAULT_FN_ATTRS 519 _mm512_packs_epi32 (__m512i __A, __m512i __B) 520 { 521 return (__m512i) __builtin_ia32_packssdw512_mask ((__v16si) __A, 522 (__v16si) __B, 523 (__v32hi) _mm512_setzero_hi(), 524 (__mmask32) -1); 525 } 526 527 static __inline__ __m512i __DEFAULT_FN_ATTRS 528 _mm512_maskz_packs_epi32 (__mmask32 __M, __m512i __A, __m512i __B) 529 { 530 return (__m512i) __builtin_ia32_packssdw512_mask ((__v16si) __A, 531 (__v16si) __B, 532 (__v32hi) _mm512_setzero_hi(), 533 __M); 534 } 535 536 static __inline__ __m512i __DEFAULT_FN_ATTRS 537 _mm512_mask_packs_epi32 (__m512i __W, __mmask32 __M, __m512i __A, 538 __m512i __B) 539 { 540 return (__m512i) __builtin_ia32_packssdw512_mask ((__v16si) __A, 541 (__v16si) __B, 542 (__v32hi) __W, 543 __M); 544 } 545 546 static __inline__ __m512i __DEFAULT_FN_ATTRS 547 _mm512_packs_epi16 (__m512i __A, __m512i __B) 548 { 549 return (__m512i) __builtin_ia32_packsswb512_mask ((__v32hi) __A, 550 (__v32hi) __B, 551 (__v64qi) _mm512_setzero_qi(), 552 (__mmask64) -1); 553 } 554 555 static __inline__ __m512i __DEFAULT_FN_ATTRS 556 _mm512_mask_packs_epi16 (__m512i __W, __mmask64 __M, __m512i __A, 557 __m512i __B) 558 { 559 return (__m512i) __builtin_ia32_packsswb512_mask ((__v32hi) __A, 560 (__v32hi) __B, 561 (__v64qi) __W, 562 (__mmask64) __M); 563 } 564 565 static __inline__ __m512i __DEFAULT_FN_ATTRS 566 _mm512_maskz_packs_epi16 (__mmask64 __M, __m512i __A, __m512i __B) 567 { 568 return (__m512i) __builtin_ia32_packsswb512_mask ((__v32hi) __A, 569 (__v32hi) __B, 570 (__v64qi) _mm512_setzero_qi(), 571 __M); 572 } 573 574 static __inline__ __m512i __DEFAULT_FN_ATTRS 575 _mm512_packus_epi32 (__m512i __A, __m512i __B) 576 { 577 return (__m512i) __builtin_ia32_packusdw512_mask ((__v16si) __A, 578 (__v16si) __B, 579 (__v32hi) _mm512_setzero_hi(), 580 (__mmask32) -1); 581 } 582 583 static __inline__ __m512i __DEFAULT_FN_ATTRS 584 _mm512_maskz_packus_epi32 (__mmask32 __M, __m512i __A, __m512i __B) 585 { 586 return (__m512i) __builtin_ia32_packusdw512_mask ((__v16si) __A, 587 (__v16si) __B, 588 (__v32hi) _mm512_setzero_hi(), 589 __M); 590 } 591 592 static __inline__ __m512i __DEFAULT_FN_ATTRS 593 _mm512_mask_packus_epi32 (__m512i __W, __mmask32 __M, __m512i __A, 594 __m512i __B) 595 { 596 return (__m512i) __builtin_ia32_packusdw512_mask ((__v16si) __A, 597 (__v16si) __B, 598 (__v32hi) __W, 599 __M); 600 } 601 602 static __inline__ __m512i __DEFAULT_FN_ATTRS 603 _mm512_packus_epi16 (__m512i __A, __m512i __B) 604 { 605 return (__m512i) __builtin_ia32_packuswb512_mask ((__v32hi) __A, 606 (__v32hi) __B, 607 (__v64qi) _mm512_setzero_qi(), 608 (__mmask64) -1); 609 } 610 611 static __inline__ __m512i __DEFAULT_FN_ATTRS 612 _mm512_mask_packus_epi16 (__m512i __W, __mmask64 __M, __m512i __A, 613 __m512i __B) 614 { 615 return (__m512i) __builtin_ia32_packuswb512_mask ((__v32hi) __A, 616 (__v32hi) __B, 617 (__v64qi) __W, 618 (__mmask64) __M); 619 } 620 621 static __inline__ __m512i __DEFAULT_FN_ATTRS 622 _mm512_maskz_packus_epi16 (__mmask64 __M, __m512i __A, __m512i __B) 623 { 624 return (__m512i) __builtin_ia32_packuswb512_mask ((__v32hi) __A, 625 (__v32hi) __B, 626 (__v64qi) _mm512_setzero_qi(), 627 (__mmask64) __M); 628 } 629 630 static __inline__ __m512i __DEFAULT_FN_ATTRS 631 _mm512_adds_epi8 (__m512i __A, __m512i __B) 632 { 633 return (__m512i) __builtin_ia32_paddsb512_mask ((__v64qi) __A, 634 (__v64qi) __B, 635 (__v64qi) _mm512_setzero_qi(), 636 (__mmask64) -1); 637 } 638 639 static __inline__ __m512i __DEFAULT_FN_ATTRS 640 _mm512_mask_adds_epi8 (__m512i __W, __mmask64 __U, __m512i __A, 641 __m512i __B) 642 { 643 return (__m512i) __builtin_ia32_paddsb512_mask ((__v64qi) __A, 644 (__v64qi) __B, 645 (__v64qi) __W, 646 (__mmask64) __U); 647 } 648 649 static __inline__ __m512i __DEFAULT_FN_ATTRS 650 _mm512_maskz_adds_epi8 (__mmask64 __U, __m512i __A, __m512i __B) 651 { 652 return (__m512i) __builtin_ia32_paddsb512_mask ((__v64qi) __A, 653 (__v64qi) __B, 654 (__v64qi) _mm512_setzero_qi(), 655 (__mmask64) __U); 656 } 657 658 static __inline__ __m512i __DEFAULT_FN_ATTRS 659 _mm512_adds_epi16 (__m512i __A, __m512i __B) 660 { 661 return (__m512i) __builtin_ia32_paddsw512_mask ((__v32hi) __A, 662 (__v32hi) __B, 663 (__v32hi) _mm512_setzero_hi(), 664 (__mmask32) -1); 665 } 666 667 static __inline__ __m512i __DEFAULT_FN_ATTRS 668 _mm512_mask_adds_epi16 (__m512i __W, __mmask32 __U, __m512i __A, 669 __m512i __B) 670 { 671 return (__m512i) __builtin_ia32_paddsw512_mask ((__v32hi) __A, 672 (__v32hi) __B, 673 (__v32hi) __W, 674 (__mmask32) __U); 675 } 676 677 static __inline__ __m512i __DEFAULT_FN_ATTRS 678 _mm512_maskz_adds_epi16 (__mmask32 __U, __m512i __A, __m512i __B) 679 { 680 return (__m512i) __builtin_ia32_paddsw512_mask ((__v32hi) __A, 681 (__v32hi) __B, 682 (__v32hi) _mm512_setzero_hi(), 683 (__mmask32) __U); 684 } 685 686 static __inline__ __m512i __DEFAULT_FN_ATTRS 687 _mm512_adds_epu8 (__m512i __A, __m512i __B) 688 { 689 return (__m512i) __builtin_ia32_paddusb512_mask ((__v64qi) __A, 690 (__v64qi) __B, 691 (__v64qi) _mm512_setzero_qi(), 692 (__mmask64) -1); 693 } 694 695 static __inline__ __m512i __DEFAULT_FN_ATTRS 696 _mm512_mask_adds_epu8 (__m512i __W, __mmask64 __U, __m512i __A, 697 __m512i __B) 698 { 699 return (__m512i) __builtin_ia32_paddusb512_mask ((__v64qi) __A, 700 (__v64qi) __B, 701 (__v64qi) __W, 702 (__mmask64) __U); 703 } 704 705 static __inline__ __m512i __DEFAULT_FN_ATTRS 706 _mm512_maskz_adds_epu8 (__mmask64 __U, __m512i __A, __m512i __B) 707 { 708 return (__m512i) __builtin_ia32_paddusb512_mask ((__v64qi) __A, 709 (__v64qi) __B, 710 (__v64qi) _mm512_setzero_qi(), 711 (__mmask64) __U); 712 } 713 714 static __inline__ __m512i __DEFAULT_FN_ATTRS 715 _mm512_adds_epu16 (__m512i __A, __m512i __B) 716 { 717 return (__m512i) __builtin_ia32_paddusw512_mask ((__v32hi) __A, 718 (__v32hi) __B, 719 (__v32hi) _mm512_setzero_hi(), 720 (__mmask32) -1); 721 } 722 723 static __inline__ __m512i __DEFAULT_FN_ATTRS 724 _mm512_mask_adds_epu16 (__m512i __W, __mmask32 __U, __m512i __A, 725 __m512i __B) 726 { 727 return (__m512i) __builtin_ia32_paddusw512_mask ((__v32hi) __A, 728 (__v32hi) __B, 729 (__v32hi) __W, 730 (__mmask32) __U); 731 } 732 733 static __inline__ __m512i __DEFAULT_FN_ATTRS 734 _mm512_maskz_adds_epu16 (__mmask32 __U, __m512i __A, __m512i __B) 735 { 736 return (__m512i) __builtin_ia32_paddusw512_mask ((__v32hi) __A, 737 (__v32hi) __B, 738 (__v32hi) _mm512_setzero_hi(), 739 (__mmask32) __U); 740 } 741 742 static __inline__ __m512i __DEFAULT_FN_ATTRS 743 _mm512_avg_epu8 (__m512i __A, __m512i __B) 744 { 745 return (__m512i) __builtin_ia32_pavgb512_mask ((__v64qi) __A, 746 (__v64qi) __B, 747 (__v64qi) _mm512_setzero_qi(), 748 (__mmask64) -1); 749 } 750 751 static __inline__ __m512i __DEFAULT_FN_ATTRS 752 _mm512_mask_avg_epu8 (__m512i __W, __mmask64 __U, __m512i __A, 753 __m512i __B) 754 { 755 return (__m512i) __builtin_ia32_pavgb512_mask ((__v64qi) __A, 756 (__v64qi) __B, 757 (__v64qi) __W, 758 (__mmask64) __U); 759 } 760 761 static __inline__ __m512i __DEFAULT_FN_ATTRS 762 _mm512_maskz_avg_epu8 (__mmask64 __U, __m512i __A, __m512i __B) 763 { 764 return (__m512i) __builtin_ia32_pavgb512_mask ((__v64qi) __A, 765 (__v64qi) __B, 766 (__v64qi) _mm512_setzero_qi(), 767 (__mmask64) __U); 768 } 769 770 static __inline__ __m512i __DEFAULT_FN_ATTRS 771 _mm512_avg_epu16 (__m512i __A, __m512i __B) 772 { 773 return (__m512i) __builtin_ia32_pavgw512_mask ((__v32hi) __A, 774 (__v32hi) __B, 775 (__v32hi) _mm512_setzero_hi(), 776 (__mmask32) -1); 777 } 778 779 static __inline__ __m512i __DEFAULT_FN_ATTRS 780 _mm512_mask_avg_epu16 (__m512i __W, __mmask32 __U, __m512i __A, 781 __m512i __B) 782 { 783 return (__m512i) __builtin_ia32_pavgw512_mask ((__v32hi) __A, 784 (__v32hi) __B, 785 (__v32hi) __W, 786 (__mmask32) __U); 787 } 788 789 static __inline__ __m512i __DEFAULT_FN_ATTRS 790 _mm512_maskz_avg_epu16 (__mmask32 __U, __m512i __A, __m512i __B) 791 { 792 return (__m512i) __builtin_ia32_pavgw512_mask ((__v32hi) __A, 793 (__v32hi) __B, 794 (__v32hi) _mm512_setzero_hi(), 795 (__mmask32) __U); 796 } 797 798 static __inline__ __m512i __DEFAULT_FN_ATTRS 799 _mm512_max_epi8 (__m512i __A, __m512i __B) 800 { 801 return (__m512i) __builtin_ia32_pmaxsb512_mask ((__v64qi) __A, 802 (__v64qi) __B, 803 (__v64qi) _mm512_setzero_qi(), 804 (__mmask64) -1); 805 } 806 807 static __inline__ __m512i __DEFAULT_FN_ATTRS 808 _mm512_maskz_max_epi8 (__mmask64 __M, __m512i __A, __m512i __B) 809 { 810 return (__m512i) __builtin_ia32_pmaxsb512_mask ((__v64qi) __A, 811 (__v64qi) __B, 812 (__v64qi) _mm512_setzero_qi(), 813 (__mmask64) __M); 814 } 815 816 static __inline__ __m512i __DEFAULT_FN_ATTRS 817 _mm512_mask_max_epi8 (__m512i __W, __mmask64 __M, __m512i __A, 818 __m512i __B) 819 { 820 return (__m512i) __builtin_ia32_pmaxsb512_mask ((__v64qi) __A, 821 (__v64qi) __B, 822 (__v64qi) __W, 823 (__mmask64) __M); 824 } 825 826 static __inline__ __m512i __DEFAULT_FN_ATTRS 827 _mm512_max_epi16 (__m512i __A, __m512i __B) 828 { 829 return (__m512i) __builtin_ia32_pmaxsw512_mask ((__v32hi) __A, 830 (__v32hi) __B, 831 (__v32hi) _mm512_setzero_hi(), 832 (__mmask32) -1); 833 } 834 835 static __inline__ __m512i __DEFAULT_FN_ATTRS 836 _mm512_maskz_max_epi16 (__mmask32 __M, __m512i __A, __m512i __B) 837 { 838 return (__m512i) __builtin_ia32_pmaxsw512_mask ((__v32hi) __A, 839 (__v32hi) __B, 840 (__v32hi) _mm512_setzero_hi(), 841 (__mmask32) __M); 842 } 843 844 static __inline__ __m512i __DEFAULT_FN_ATTRS 845 _mm512_mask_max_epi16 (__m512i __W, __mmask32 __M, __m512i __A, 846 __m512i __B) 847 { 848 return (__m512i) __builtin_ia32_pmaxsw512_mask ((__v32hi) __A, 849 (__v32hi) __B, 850 (__v32hi) __W, 851 (__mmask32) __M); 852 } 853 854 static __inline__ __m512i __DEFAULT_FN_ATTRS 855 _mm512_max_epu8 (__m512i __A, __m512i __B) 856 { 857 return (__m512i) __builtin_ia32_pmaxub512_mask ((__v64qi) __A, 858 (__v64qi) __B, 859 (__v64qi) _mm512_setzero_qi(), 860 (__mmask64) -1); 861 } 862 863 static __inline__ __m512i __DEFAULT_FN_ATTRS 864 _mm512_maskz_max_epu8 (__mmask64 __M, __m512i __A, __m512i __B) 865 { 866 return (__m512i) __builtin_ia32_pmaxub512_mask ((__v64qi) __A, 867 (__v64qi) __B, 868 (__v64qi) _mm512_setzero_qi(), 869 (__mmask64) __M); 870 } 871 872 static __inline__ __m512i __DEFAULT_FN_ATTRS 873 _mm512_mask_max_epu8 (__m512i __W, __mmask64 __M, __m512i __A, 874 __m512i __B) 875 { 876 return (__m512i) __builtin_ia32_pmaxub512_mask ((__v64qi) __A, 877 (__v64qi) __B, 878 (__v64qi) __W, 879 (__mmask64) __M); 880 } 881 882 static __inline__ __m512i __DEFAULT_FN_ATTRS 883 _mm512_max_epu16 (__m512i __A, __m512i __B) 884 { 885 return (__m512i) __builtin_ia32_pmaxuw512_mask ((__v32hi) __A, 886 (__v32hi) __B, 887 (__v32hi) _mm512_setzero_hi(), 888 (__mmask32) -1); 889 } 890 891 static __inline__ __m512i __DEFAULT_FN_ATTRS 892 _mm512_maskz_max_epu16 (__mmask32 __M, __m512i __A, __m512i __B) 893 { 894 return (__m512i) __builtin_ia32_pmaxuw512_mask ((__v32hi) __A, 895 (__v32hi) __B, 896 (__v32hi) _mm512_setzero_hi(), 897 (__mmask32) __M); 898 } 899 900 static __inline__ __m512i __DEFAULT_FN_ATTRS 901 _mm512_mask_max_epu16 (__m512i __W, __mmask32 __M, __m512i __A, 902 __m512i __B) 903 { 904 return (__m512i) __builtin_ia32_pmaxuw512_mask ((__v32hi) __A, 905 (__v32hi) __B, 906 (__v32hi) __W, 907 (__mmask32) __M); 908 } 909 910 static __inline__ __m512i __DEFAULT_FN_ATTRS 911 _mm512_min_epi8 (__m512i __A, __m512i __B) 912 { 913 return (__m512i) __builtin_ia32_pminsb512_mask ((__v64qi) __A, 914 (__v64qi) __B, 915 (__v64qi) _mm512_setzero_qi(), 916 (__mmask64) -1); 917 } 918 919 static __inline__ __m512i __DEFAULT_FN_ATTRS 920 _mm512_maskz_min_epi8 (__mmask64 __M, __m512i __A, __m512i __B) 921 { 922 return (__m512i) __builtin_ia32_pminsb512_mask ((__v64qi) __A, 923 (__v64qi) __B, 924 (__v64qi) _mm512_setzero_qi(), 925 (__mmask64) __M); 926 } 927 928 static __inline__ __m512i __DEFAULT_FN_ATTRS 929 _mm512_mask_min_epi8 (__m512i __W, __mmask64 __M, __m512i __A, 930 __m512i __B) 931 { 932 return (__m512i) __builtin_ia32_pminsb512_mask ((__v64qi) __A, 933 (__v64qi) __B, 934 (__v64qi) __W, 935 (__mmask64) __M); 936 } 937 938 static __inline__ __m512i __DEFAULT_FN_ATTRS 939 _mm512_min_epi16 (__m512i __A, __m512i __B) 940 { 941 return (__m512i) __builtin_ia32_pminsw512_mask ((__v32hi) __A, 942 (__v32hi) __B, 943 (__v32hi) _mm512_setzero_hi(), 944 (__mmask32) -1); 945 } 946 947 static __inline__ __m512i __DEFAULT_FN_ATTRS 948 _mm512_maskz_min_epi16 (__mmask32 __M, __m512i __A, __m512i __B) 949 { 950 return (__m512i) __builtin_ia32_pminsw512_mask ((__v32hi) __A, 951 (__v32hi) __B, 952 (__v32hi) _mm512_setzero_hi(), 953 (__mmask32) __M); 954 } 955 956 static __inline__ __m512i __DEFAULT_FN_ATTRS 957 _mm512_mask_min_epi16 (__m512i __W, __mmask32 __M, __m512i __A, 958 __m512i __B) 959 { 960 return (__m512i) __builtin_ia32_pminsw512_mask ((__v32hi) __A, 961 (__v32hi) __B, 962 (__v32hi) __W, 963 (__mmask32) __M); 964 } 965 966 static __inline__ __m512i __DEFAULT_FN_ATTRS 967 _mm512_min_epu8 (__m512i __A, __m512i __B) 968 { 969 return (__m512i) __builtin_ia32_pminub512_mask ((__v64qi) __A, 970 (__v64qi) __B, 971 (__v64qi) _mm512_setzero_qi(), 972 (__mmask64) -1); 973 } 974 975 static __inline__ __m512i __DEFAULT_FN_ATTRS 976 _mm512_maskz_min_epu8 (__mmask64 __M, __m512i __A, __m512i __B) 977 { 978 return (__m512i) __builtin_ia32_pminub512_mask ((__v64qi) __A, 979 (__v64qi) __B, 980 (__v64qi) _mm512_setzero_qi(), 981 (__mmask64) __M); 982 } 983 984 static __inline__ __m512i __DEFAULT_FN_ATTRS 985 _mm512_mask_min_epu8 (__m512i __W, __mmask64 __M, __m512i __A, 986 __m512i __B) 987 { 988 return (__m512i) __builtin_ia32_pminub512_mask ((__v64qi) __A, 989 (__v64qi) __B, 990 (__v64qi) __W, 991 (__mmask64) __M); 992 } 993 994 static __inline__ __m512i __DEFAULT_FN_ATTRS 995 _mm512_min_epu16 (__m512i __A, __m512i __B) 996 { 997 return (__m512i) __builtin_ia32_pminuw512_mask ((__v32hi) __A, 998 (__v32hi) __B, 999 (__v32hi) _mm512_setzero_hi(), 1000 (__mmask32) -1); 1001 } 1002 1003 static __inline__ __m512i __DEFAULT_FN_ATTRS 1004 _mm512_maskz_min_epu16 (__mmask32 __M, __m512i __A, __m512i __B) 1005 { 1006 return (__m512i) __builtin_ia32_pminuw512_mask ((__v32hi) __A, 1007 (__v32hi) __B, 1008 (__v32hi) _mm512_setzero_hi(), 1009 (__mmask32) __M); 1010 } 1011 1012 static __inline__ __m512i __DEFAULT_FN_ATTRS 1013 _mm512_mask_min_epu16 (__m512i __W, __mmask32 __M, __m512i __A, 1014 __m512i __B) 1015 { 1016 return (__m512i) __builtin_ia32_pminuw512_mask ((__v32hi) __A, 1017 (__v32hi) __B, 1018 (__v32hi) __W, 1019 (__mmask32) __M); 1020 } 1021 1022 static __inline__ __m512i __DEFAULT_FN_ATTRS 1023 _mm512_shuffle_epi8 (__m512i __A, __m512i __B) 1024 { 1025 return (__m512i) __builtin_ia32_pshufb512_mask ((__v64qi) __A, 1026 (__v64qi) __B, 1027 (__v64qi) _mm512_setzero_qi(), 1028 (__mmask64) -1); 1029 } 1030 1031 static __inline__ __m512i __DEFAULT_FN_ATTRS 1032 _mm512_mask_shuffle_epi8 (__m512i __W, __mmask64 __U, __m512i __A, 1033 __m512i __B) 1034 { 1035 return (__m512i) __builtin_ia32_pshufb512_mask ((__v64qi) __A, 1036 (__v64qi) __B, 1037 (__v64qi) __W, 1038 (__mmask64) __U); 1039 } 1040 1041 static __inline__ __m512i __DEFAULT_FN_ATTRS 1042 _mm512_maskz_shuffle_epi8 (__mmask64 __U, __m512i __A, __m512i __B) 1043 { 1044 return (__m512i) __builtin_ia32_pshufb512_mask ((__v64qi) __A, 1045 (__v64qi) __B, 1046 (__v64qi) _mm512_setzero_qi(), 1047 (__mmask64) __U); 1048 } 1049 1050 static __inline__ __m512i __DEFAULT_FN_ATTRS 1051 _mm512_subs_epi8 (__m512i __A, __m512i __B) 1052 { 1053 return (__m512i) __builtin_ia32_psubsb512_mask ((__v64qi) __A, 1054 (__v64qi) __B, 1055 (__v64qi) _mm512_setzero_qi(), 1056 (__mmask64) -1); 1057 } 1058 1059 static __inline__ __m512i __DEFAULT_FN_ATTRS 1060 _mm512_mask_subs_epi8 (__m512i __W, __mmask64 __U, __m512i __A, 1061 __m512i __B) 1062 { 1063 return (__m512i) __builtin_ia32_psubsb512_mask ((__v64qi) __A, 1064 (__v64qi) __B, 1065 (__v64qi) __W, 1066 (__mmask64) __U); 1067 } 1068 1069 static __inline__ __m512i __DEFAULT_FN_ATTRS 1070 _mm512_maskz_subs_epi8 (__mmask64 __U, __m512i __A, __m512i __B) 1071 { 1072 return (__m512i) __builtin_ia32_psubsb512_mask ((__v64qi) __A, 1073 (__v64qi) __B, 1074 (__v64qi) _mm512_setzero_qi(), 1075 (__mmask64) __U); 1076 } 1077 1078 static __inline__ __m512i __DEFAULT_FN_ATTRS 1079 _mm512_subs_epi16 (__m512i __A, __m512i __B) 1080 { 1081 return (__m512i) __builtin_ia32_psubsw512_mask ((__v32hi) __A, 1082 (__v32hi) __B, 1083 (__v32hi) _mm512_setzero_hi(), 1084 (__mmask32) -1); 1085 } 1086 1087 static __inline__ __m512i __DEFAULT_FN_ATTRS 1088 _mm512_mask_subs_epi16 (__m512i __W, __mmask32 __U, __m512i __A, 1089 __m512i __B) 1090 { 1091 return (__m512i) __builtin_ia32_psubsw512_mask ((__v32hi) __A, 1092 (__v32hi) __B, 1093 (__v32hi) __W, 1094 (__mmask32) __U); 1095 } 1096 1097 static __inline__ __m512i __DEFAULT_FN_ATTRS 1098 _mm512_maskz_subs_epi16 (__mmask32 __U, __m512i __A, __m512i __B) 1099 { 1100 return (__m512i) __builtin_ia32_psubsw512_mask ((__v32hi) __A, 1101 (__v32hi) __B, 1102 (__v32hi) _mm512_setzero_hi(), 1103 (__mmask32) __U); 1104 } 1105 1106 static __inline__ __m512i __DEFAULT_FN_ATTRS 1107 _mm512_subs_epu8 (__m512i __A, __m512i __B) 1108 { 1109 return (__m512i) __builtin_ia32_psubusb512_mask ((__v64qi) __A, 1110 (__v64qi) __B, 1111 (__v64qi) _mm512_setzero_qi(), 1112 (__mmask64) -1); 1113 } 1114 1115 static __inline__ __m512i __DEFAULT_FN_ATTRS 1116 _mm512_mask_subs_epu8 (__m512i __W, __mmask64 __U, __m512i __A, 1117 __m512i __B) 1118 { 1119 return (__m512i) __builtin_ia32_psubusb512_mask ((__v64qi) __A, 1120 (__v64qi) __B, 1121 (__v64qi) __W, 1122 (__mmask64) __U); 1123 } 1124 1125 static __inline__ __m512i __DEFAULT_FN_ATTRS 1126 _mm512_maskz_subs_epu8 (__mmask64 __U, __m512i __A, __m512i __B) 1127 { 1128 return (__m512i) __builtin_ia32_psubusb512_mask ((__v64qi) __A, 1129 (__v64qi) __B, 1130 (__v64qi) _mm512_setzero_qi(), 1131 (__mmask64) __U); 1132 } 1133 1134 static __inline__ __m512i __DEFAULT_FN_ATTRS 1135 _mm512_subs_epu16 (__m512i __A, __m512i __B) 1136 { 1137 return (__m512i) __builtin_ia32_psubusw512_mask ((__v32hi) __A, 1138 (__v32hi) __B, 1139 (__v32hi) _mm512_setzero_hi(), 1140 (__mmask32) -1); 1141 } 1142 1143 static __inline__ __m512i __DEFAULT_FN_ATTRS 1144 _mm512_mask_subs_epu16 (__m512i __W, __mmask32 __U, __m512i __A, 1145 __m512i __B) 1146 { 1147 return (__m512i) __builtin_ia32_psubusw512_mask ((__v32hi) __A, 1148 (__v32hi) __B, 1149 (__v32hi) __W, 1150 (__mmask32) __U); 1151 } 1152 1153 static __inline__ __m512i __DEFAULT_FN_ATTRS 1154 _mm512_maskz_subs_epu16 (__mmask32 __U, __m512i __A, __m512i __B) 1155 { 1156 return (__m512i) __builtin_ia32_psubusw512_mask ((__v32hi) __A, 1157 (__v32hi) __B, 1158 (__v32hi) _mm512_setzero_hi(), 1159 (__mmask32) __U); 1160 } 1161 1162 static __inline__ __m512i __DEFAULT_FN_ATTRS 1163 _mm512_mask2_permutex2var_epi16 (__m512i __A, __m512i __I, 1164 __mmask32 __U, __m512i __B) 1165 { 1166 return (__m512i) __builtin_ia32_vpermi2varhi512_mask ((__v32hi) __A, 1167 (__v32hi) __I /* idx */ , 1168 (__v32hi) __B, 1169 (__mmask32) __U); 1170 } 1171 1172 static __inline__ __m512i __DEFAULT_FN_ATTRS 1173 _mm512_permutex2var_epi16 (__m512i __A, __m512i __I, __m512i __B) 1174 { 1175 return (__m512i) __builtin_ia32_vpermt2varhi512_mask ((__v32hi) __I /* idx */, 1176 (__v32hi) __A, 1177 (__v32hi) __B, 1178 (__mmask32) -1); 1179 } 1180 1181 static __inline__ __m512i __DEFAULT_FN_ATTRS 1182 _mm512_mask_permutex2var_epi16 (__m512i __A, __mmask32 __U, 1183 __m512i __I, __m512i __B) 1184 { 1185 return (__m512i) __builtin_ia32_vpermt2varhi512_mask ((__v32hi) __I /* idx */, 1186 (__v32hi) __A, 1187 (__v32hi) __B, 1188 (__mmask32) __U); 1189 } 1190 1191 static __inline__ __m512i __DEFAULT_FN_ATTRS 1192 _mm512_maskz_permutex2var_epi16 (__mmask32 __U, __m512i __A, 1193 __m512i __I, __m512i __B) 1194 { 1195 return (__m512i) __builtin_ia32_vpermt2varhi512_maskz ((__v32hi) __I 1196 /* idx */ , 1197 (__v32hi) __A, 1198 (__v32hi) __B, 1199 (__mmask32) __U); 1200 } 1201 1202 static __inline__ __m512i __DEFAULT_FN_ATTRS 1203 _mm512_mulhrs_epi16 (__m512i __A, __m512i __B) 1204 { 1205 return (__m512i) __builtin_ia32_pmulhrsw512_mask ((__v32hi) __A, 1206 (__v32hi) __B, 1207 (__v32hi) _mm512_setzero_hi(), 1208 (__mmask32) -1); 1209 } 1210 1211 static __inline__ __m512i __DEFAULT_FN_ATTRS 1212 _mm512_mask_mulhrs_epi16 (__m512i __W, __mmask32 __U, __m512i __A, 1213 __m512i __B) 1214 { 1215 return (__m512i) __builtin_ia32_pmulhrsw512_mask ((__v32hi) __A, 1216 (__v32hi) __B, 1217 (__v32hi) __W, 1218 (__mmask32) __U); 1219 } 1220 1221 static __inline__ __m512i __DEFAULT_FN_ATTRS 1222 _mm512_maskz_mulhrs_epi16 (__mmask32 __U, __m512i __A, __m512i __B) 1223 { 1224 return (__m512i) __builtin_ia32_pmulhrsw512_mask ((__v32hi) __A, 1225 (__v32hi) __B, 1226 (__v32hi) _mm512_setzero_hi(), 1227 (__mmask32) __U); 1228 } 1229 1230 static __inline__ __m512i __DEFAULT_FN_ATTRS 1231 _mm512_mulhi_epi16 (__m512i __A, __m512i __B) 1232 { 1233 return (__m512i) __builtin_ia32_pmulhw512_mask ((__v32hi) __A, 1234 (__v32hi) __B, 1235 (__v32hi) _mm512_setzero_hi(), 1236 (__mmask32) -1); 1237 } 1238 1239 static __inline__ __m512i __DEFAULT_FN_ATTRS 1240 _mm512_mask_mulhi_epi16 (__m512i __W, __mmask32 __U, __m512i __A, 1241 __m512i __B) 1242 { 1243 return (__m512i) __builtin_ia32_pmulhw512_mask ((__v32hi) __A, 1244 (__v32hi) __B, 1245 (__v32hi) __W, 1246 (__mmask32) __U); 1247 } 1248 1249 static __inline__ __m512i __DEFAULT_FN_ATTRS 1250 _mm512_maskz_mulhi_epi16 (__mmask32 __U, __m512i __A, __m512i __B) 1251 { 1252 return (__m512i) __builtin_ia32_pmulhw512_mask ((__v32hi) __A, 1253 (__v32hi) __B, 1254 (__v32hi) _mm512_setzero_hi(), 1255 (__mmask32) __U); 1256 } 1257 1258 static __inline__ __m512i __DEFAULT_FN_ATTRS 1259 _mm512_mulhi_epu16 (__m512i __A, __m512i __B) 1260 { 1261 return (__m512i) __builtin_ia32_pmulhuw512_mask ((__v32hi) __A, 1262 (__v32hi) __B, 1263 (__v32hi) _mm512_setzero_hi(), 1264 (__mmask32) -1); 1265 } 1266 1267 static __inline__ __m512i __DEFAULT_FN_ATTRS 1268 _mm512_mask_mulhi_epu16 (__m512i __W, __mmask32 __U, __m512i __A, 1269 __m512i __B) 1270 { 1271 return (__m512i) __builtin_ia32_pmulhuw512_mask ((__v32hi) __A, 1272 (__v32hi) __B, 1273 (__v32hi) __W, 1274 (__mmask32) __U); 1275 } 1276 1277 static __inline__ __m512i __DEFAULT_FN_ATTRS 1278 _mm512_maskz_mulhi_epu16 (__mmask32 __U, __m512i __A, __m512i __B) 1279 { 1280 return (__m512i) __builtin_ia32_pmulhuw512_mask ((__v32hi) __A, 1281 (__v32hi) __B, 1282 (__v32hi) _mm512_setzero_hi(), 1283 (__mmask32) __U); 1284 } 1285 1286 static __inline__ __m512i __DEFAULT_FN_ATTRS 1287 _mm512_maddubs_epi16 (__m512i __X, __m512i __Y) { 1288 return (__m512i) __builtin_ia32_pmaddubsw512_mask ((__v64qi) __X, 1289 (__v64qi) __Y, 1290 (__v32hi) _mm512_setzero_hi(), 1291 (__mmask32) -1); 1292 } 1293 1294 static __inline__ __m512i __DEFAULT_FN_ATTRS 1295 _mm512_mask_maddubs_epi16 (__m512i __W, __mmask32 __U, __m512i __X, 1296 __m512i __Y) { 1297 return (__m512i) __builtin_ia32_pmaddubsw512_mask ((__v64qi) __X, 1298 (__v64qi) __Y, 1299 (__v32hi) __W, 1300 (__mmask32) __U); 1301 } 1302 1303 static __inline__ __m512i __DEFAULT_FN_ATTRS 1304 _mm512_maskz_maddubs_epi16 (__mmask32 __U, __m512i __X, __m512i __Y) { 1305 return (__m512i) __builtin_ia32_pmaddubsw512_mask ((__v64qi) __X, 1306 (__v64qi) __Y, 1307 (__v32hi) _mm512_setzero_hi(), 1308 (__mmask32) __U); 1309 } 1310 1311 static __inline__ __m512i __DEFAULT_FN_ATTRS 1312 _mm512_madd_epi16 (__m512i __A, __m512i __B) { 1313 return (__m512i) __builtin_ia32_pmaddwd512_mask ((__v32hi) __A, 1314 (__v32hi) __B, 1315 (__v16si) _mm512_setzero_si512(), 1316 (__mmask16) -1); 1317 } 1318 1319 static __inline__ __m512i __DEFAULT_FN_ATTRS 1320 _mm512_mask_madd_epi16 (__m512i __W, __mmask16 __U, __m512i __A, 1321 __m512i __B) { 1322 return (__m512i) __builtin_ia32_pmaddwd512_mask ((__v32hi) __A, 1323 (__v32hi) __B, 1324 (__v16si) __W, 1325 (__mmask16) __U); 1326 } 1327 1328 static __inline__ __m512i __DEFAULT_FN_ATTRS 1329 _mm512_maskz_madd_epi16 (__mmask16 __U, __m512i __A, __m512i __B) { 1330 return (__m512i) __builtin_ia32_pmaddwd512_mask ((__v32hi) __A, 1331 (__v32hi) __B, 1332 (__v16si) _mm512_setzero_si512(), 1333 (__mmask16) __U); 1334 } 1335 1336 static __inline__ __m256i __DEFAULT_FN_ATTRS 1337 _mm512_cvtsepi16_epi8 (__m512i __A) { 1338 return (__m256i) __builtin_ia32_pmovswb512_mask ((__v32hi) __A, 1339 (__v32qi)_mm256_setzero_si256(), 1340 (__mmask32) -1); 1341 } 1342 1343 static __inline__ __m256i __DEFAULT_FN_ATTRS 1344 _mm512_mask_cvtsepi16_epi8 (__m256i __O, __mmask32 __M, __m512i __A) { 1345 return (__m256i) __builtin_ia32_pmovswb512_mask ((__v32hi) __A, 1346 (__v32qi)__O, 1347 __M); 1348 } 1349 1350 static __inline__ __m256i __DEFAULT_FN_ATTRS 1351 _mm512_maskz_cvtsepi16_epi8 (__mmask32 __M, __m512i __A) { 1352 return (__m256i) __builtin_ia32_pmovswb512_mask ((__v32hi) __A, 1353 (__v32qi) _mm256_setzero_si256(), 1354 __M); 1355 } 1356 1357 static __inline__ __m256i __DEFAULT_FN_ATTRS 1358 _mm512_cvtusepi16_epi8 (__m512i __A) { 1359 return (__m256i) __builtin_ia32_pmovuswb512_mask ((__v32hi) __A, 1360 (__v32qi) _mm256_setzero_si256(), 1361 (__mmask32) -1); 1362 } 1363 1364 static __inline__ __m256i __DEFAULT_FN_ATTRS 1365 _mm512_mask_cvtusepi16_epi8 (__m256i __O, __mmask32 __M, __m512i __A) { 1366 return (__m256i) __builtin_ia32_pmovuswb512_mask ((__v32hi) __A, 1367 (__v32qi) __O, 1368 __M); 1369 } 1370 1371 static __inline__ __m256i __DEFAULT_FN_ATTRS 1372 _mm512_maskz_cvtusepi16_epi8 (__mmask32 __M, __m512i __A) { 1373 return (__m256i) __builtin_ia32_pmovuswb512_mask ((__v32hi) __A, 1374 (__v32qi) _mm256_setzero_si256(), 1375 __M); 1376 } 1377 1378 static __inline__ __m256i __DEFAULT_FN_ATTRS 1379 _mm512_cvtepi16_epi8 (__m512i __A) { 1380 return (__m256i) __builtin_ia32_pmovwb512_mask ((__v32hi) __A, 1381 (__v32qi) _mm256_setzero_si256(), 1382 (__mmask32) -1); 1383 } 1384 1385 static __inline__ __m256i __DEFAULT_FN_ATTRS 1386 _mm512_mask_cvtepi16_epi8 (__m256i __O, __mmask32 __M, __m512i __A) { 1387 return (__m256i) __builtin_ia32_pmovwb512_mask ((__v32hi) __A, 1388 (__v32qi) __O, 1389 __M); 1390 } 1391 1392 static __inline__ __m256i __DEFAULT_FN_ATTRS 1393 _mm512_maskz_cvtepi16_epi8 (__mmask32 __M, __m512i __A) { 1394 return (__m256i) __builtin_ia32_pmovwb512_mask ((__v32hi) __A, 1395 (__v32qi) _mm256_setzero_si256(), 1396 __M); 1397 } 1398 1399 static __inline__ __m512i __DEFAULT_FN_ATTRS 1400 _mm512_unpackhi_epi8 (__m512i __A, __m512i __B) { 1401 return (__m512i) __builtin_ia32_punpckhbw512_mask ((__v64qi) __A, 1402 (__v64qi) __B, 1403 (__v64qi) _mm512_setzero_qi(), 1404 (__mmask64) -1); 1405 } 1406 1407 static __inline__ __m512i __DEFAULT_FN_ATTRS 1408 _mm512_mask_unpackhi_epi8 (__m512i __W, __mmask64 __U, __m512i __A, 1409 __m512i __B) { 1410 return (__m512i) __builtin_ia32_punpckhbw512_mask ((__v64qi) __A, 1411 (__v64qi) __B, 1412 (__v64qi) __W, 1413 (__mmask64) __U); 1414 } 1415 1416 static __inline__ __m512i __DEFAULT_FN_ATTRS 1417 _mm512_maskz_unpackhi_epi8 (__mmask64 __U, __m512i __A, __m512i __B) { 1418 return (__m512i) __builtin_ia32_punpckhbw512_mask ((__v64qi) __A, 1419 (__v64qi) __B, 1420 (__v64qi) _mm512_setzero_qi(), 1421 (__mmask64) __U); 1422 } 1423 1424 static __inline__ __m512i __DEFAULT_FN_ATTRS 1425 _mm512_unpackhi_epi16 (__m512i __A, __m512i __B) { 1426 return (__m512i) __builtin_ia32_punpckhwd512_mask ((__v32hi) __A, 1427 (__v32hi) __B, 1428 (__v32hi) _mm512_setzero_hi(), 1429 (__mmask32) -1); 1430 } 1431 1432 static __inline__ __m512i __DEFAULT_FN_ATTRS 1433 _mm512_mask_unpackhi_epi16 (__m512i __W, __mmask32 __U, __m512i __A, 1434 __m512i __B) { 1435 return (__m512i) __builtin_ia32_punpckhwd512_mask ((__v32hi) __A, 1436 (__v32hi) __B, 1437 (__v32hi) __W, 1438 (__mmask32) __U); 1439 } 1440 1441 static __inline__ __m512i __DEFAULT_FN_ATTRS 1442 _mm512_maskz_unpackhi_epi16 (__mmask32 __U, __m512i __A, __m512i __B) { 1443 return (__m512i) __builtin_ia32_punpckhwd512_mask ((__v32hi) __A, 1444 (__v32hi) __B, 1445 (__v32hi) _mm512_setzero_hi(), 1446 (__mmask32) __U); 1447 } 1448 1449 static __inline__ __m512i __DEFAULT_FN_ATTRS 1450 _mm512_unpacklo_epi8 (__m512i __A, __m512i __B) { 1451 return (__m512i) __builtin_ia32_punpcklbw512_mask ((__v64qi) __A, 1452 (__v64qi) __B, 1453 (__v64qi) _mm512_setzero_qi(), 1454 (__mmask64) -1); 1455 } 1456 1457 static __inline__ __m512i __DEFAULT_FN_ATTRS 1458 _mm512_mask_unpacklo_epi8 (__m512i __W, __mmask64 __U, __m512i __A, 1459 __m512i __B) { 1460 return (__m512i) __builtin_ia32_punpcklbw512_mask ((__v64qi) __A, 1461 (__v64qi) __B, 1462 (__v64qi) __W, 1463 (__mmask64) __U); 1464 } 1465 1466 static __inline__ __m512i __DEFAULT_FN_ATTRS 1467 _mm512_maskz_unpacklo_epi8 (__mmask64 __U, __m512i __A, __m512i __B) { 1468 return (__m512i) __builtin_ia32_punpcklbw512_mask ((__v64qi) __A, 1469 (__v64qi) __B, 1470 (__v64qi) _mm512_setzero_qi(), 1471 (__mmask64) __U); 1472 } 1473 1474 static __inline__ __m512i __DEFAULT_FN_ATTRS 1475 _mm512_unpacklo_epi16 (__m512i __A, __m512i __B) { 1476 return (__m512i) __builtin_ia32_punpcklwd512_mask ((__v32hi) __A, 1477 (__v32hi) __B, 1478 (__v32hi) _mm512_setzero_hi(), 1479 (__mmask32) -1); 1480 } 1481 1482 static __inline__ __m512i __DEFAULT_FN_ATTRS 1483 _mm512_mask_unpacklo_epi16 (__m512i __W, __mmask32 __U, __m512i __A, 1484 __m512i __B) { 1485 return (__m512i) __builtin_ia32_punpcklwd512_mask ((__v32hi) __A, 1486 (__v32hi) __B, 1487 (__v32hi) __W, 1488 (__mmask32) __U); 1489 } 1490 1491 static __inline__ __m512i __DEFAULT_FN_ATTRS 1492 _mm512_maskz_unpacklo_epi16 (__mmask32 __U, __m512i __A, __m512i __B) { 1493 return (__m512i) __builtin_ia32_punpcklwd512_mask ((__v32hi) __A, 1494 (__v32hi) __B, 1495 (__v32hi) _mm512_setzero_hi(), 1496 (__mmask32) __U); 1497 } 1498 1499 #define _mm512_cmp_epi8_mask(a, b, p) __extension__ ({ \ 1500 (__mmask16)__builtin_ia32_cmpb512_mask((__v64qi)(__m512i)(a), \ 1501 (__v64qi)(__m512i)(b), \ 1502 (p), (__mmask64)-1); }) 1503 1504 #define _mm512_mask_cmp_epi8_mask(m, a, b, p) __extension__ ({ \ 1505 (__mmask16)__builtin_ia32_cmpb512_mask((__v64qi)(__m512i)(a), \ 1506 (__v64qi)(__m512i)(b), \ 1507 (p), (__mmask64)(m)); }) 1508 1509 #define _mm512_cmp_epu8_mask(a, b, p) __extension__ ({ \ 1510 (__mmask16)__builtin_ia32_ucmpb512_mask((__v64qi)(__m512i)(a), \ 1511 (__v64qi)(__m512i)(b), \ 1512 (p), (__mmask64)-1); }) 1513 1514 #define _mm512_mask_cmp_epu8_mask(m, a, b, p) __extension__ ({ \ 1515 (__mmask16)__builtin_ia32_ucmpb512_mask((__v64qi)(__m512i)(a), \ 1516 (__v64qi)(__m512i)(b), \ 1517 (p), (__mmask64)(m)); }) 1518 1519 #define _mm512_cmp_epi16_mask(a, b, p) __extension__ ({ \ 1520 (__mmask16)__builtin_ia32_cmpw512_mask((__v32hi)(__m512i)(a), \ 1521 (__v32hi)(__m512i)(b), \ 1522 (p), (__mmask32)-1); }) 1523 1524 #define _mm512_mask_cmp_epi16_mask(m, a, b, p) __extension__ ({ \ 1525 (__mmask16)__builtin_ia32_cmpw512_mask((__v32hi)(__m512i)(a), \ 1526 (__v32hi)(__m512i)(b), \ 1527 (p), (__mmask32)(m)); }) 1528 1529 #define _mm512_cmp_epu16_mask(a, b, p) __extension__ ({ \ 1530 (__mmask16)__builtin_ia32_ucmpw512_mask((__v32hi)(__m512i)(a), \ 1531 (__v32hi)(__m512i)(b), \ 1532 (p), (__mmask32)-1); }) 1533 1534 #define _mm512_mask_cmp_epu16_mask(m, a, b, p) __extension__ ({ \ 1535 (__mmask16)__builtin_ia32_ucmpw512_mask((__v32hi)(__m512i)(a), \ 1536 (__v32hi)(__m512i)(b), \ 1537 (p), (__mmask32)(m)); }) 1538 1539 1540 #undef __DEFAULT_FN_ATTRS 1541 1542 #endif 1543
