Lines Matching refs:vec_x

29     #define AVX512_Mult_Private(vec_idx, vec_x, vec_vals, vec_y) \  argument
33 vec_x = _mm512_i32gather_pd(vec_idx, x, _MM_SCALE_8); \
34 vec_y = _mm512_fmadd_pd(vec_x, vec_vals, vec_y)
36 #define AVX2_Mult_Private(vec_idx, vec_x, vec_vals, vec_y) \ argument
39 vec_x = _mm256_i32gather_pd(x, vec_idx, _MM_SCALE_8); \
40 vec_y = _mm256_fmadd_pd(vec_x, vec_vals, vec_y)
330 __m512d vec_x, vec_y, vec_vals; in MatMult_SeqSELL() local
337 __m256d vec_x, vec_y, vec_y2, vec_vals; in MatMult_SeqSELL() local
342 __m256d vec_x, vec_y, vec_y2, vec_vals; in MatMult_SeqSELL() local
371 AVX512_Mult_Private(vec_idx, vec_x, vec_vals, vec_y); in MatMult_SeqSELL()
383 AVX512_Mult_Private(vec_idx, vec_x, vec_vals, vec_y); in MatMult_SeqSELL()
392 AVX512_Mult_Private(vec_idx, vec_x, vec_vals, vec_y); in MatMult_SeqSELL()
400 AVX512_Mult_Private(vec_idx, vec_x, vec_vals, vec_y); in MatMult_SeqSELL()
450 AVX2_Mult_Private(vec_idx, vec_x, vec_vals, vec_y); in MatMult_SeqSELL()
453 AVX2_Mult_Private(vec_idx, vec_x, vec_vals, vec_y2); in MatMult_SeqSELL()
491 vec_x = _mm256_insertf128_pd(vec_x, vec_x_tmp, 0); in MatMult_SeqSELL()
494 vec_x = _mm256_insertf128_pd(vec_x, vec_x_tmp, 1); in MatMult_SeqSELL()
495 vec_y = _mm256_add_pd(_mm256_mul_pd(vec_x, vec_vals), vec_y); in MatMult_SeqSELL()
501 vec_x = _mm256_insertf128_pd(vec_x, vec_x_tmp, 0); in MatMult_SeqSELL()
504 vec_x = _mm256_insertf128_pd(vec_x, vec_x_tmp, 1); in MatMult_SeqSELL()
505 vec_y2 = _mm256_add_pd(_mm256_mul_pd(vec_x, vec_vals), vec_y2); in MatMult_SeqSELL()
545 __m512d vec_x, vec_y, vec_vals; in MatMultAdd_SeqSELL() local
552 __m256d vec_x, vec_y, vec_y2, vec_vals; in MatMultAdd_SeqSELL() local
590 AVX512_Mult_Private(vec_idx, vec_x, vec_vals, vec_y); in MatMultAdd_SeqSELL()
602 AVX512_Mult_Private(vec_idx, vec_x, vec_vals, vec_y); in MatMultAdd_SeqSELL()
611 AVX512_Mult_Private(vec_idx, vec_x, vec_vals, vec_y); in MatMultAdd_SeqSELL()
619 AVX512_Mult_Private(vec_idx, vec_x, vec_vals, vec_y); in MatMultAdd_SeqSELL()
669 vec_x = _mm256_setzero_pd(); in MatMultAdd_SeqSELL()
670 vec_x = _mm256_insertf128_pd(vec_x, vec_x_tmp, 0); in MatMultAdd_SeqSELL()
673 vec_x = _mm256_insertf128_pd(vec_x, vec_x_tmp, 1); in MatMultAdd_SeqSELL()
674 vec_y = _mm256_add_pd(_mm256_mul_pd(vec_x, vec_vals), vec_y); in MatMultAdd_SeqSELL()
680 vec_x = _mm256_insertf128_pd(vec_x, vec_x_tmp, 0); in MatMultAdd_SeqSELL()
683 vec_x = _mm256_insertf128_pd(vec_x, vec_x_tmp, 1); in MatMultAdd_SeqSELL()
684 vec_y2 = _mm256_add_pd(_mm256_mul_pd(vec_x, vec_vals), vec_y2); in MatMultAdd_SeqSELL()