Lines Matching refs:vec_y
29 #define AVX512_Mult_Private(vec_idx, vec_x, vec_vals, vec_y) \ argument
34 vec_y = _mm512_fmadd_pd(vec_x, vec_vals, vec_y)
36 #define AVX2_Mult_Private(vec_idx, vec_x, vec_vals, vec_y) \ argument
40 vec_y = _mm256_fmadd_pd(vec_x, vec_vals, vec_y)
330 __m512d vec_x, vec_y, vec_vals; in MatMult_SeqSELL() local
337 __m256d vec_x, vec_y, vec_y2, vec_vals; in MatMult_SeqSELL() local
342 __m256d vec_x, vec_y, vec_y2, vec_vals; in MatMult_SeqSELL() local
363 vec_y = _mm512_setzero_pd(); in MatMult_SeqSELL()
371 AVX512_Mult_Private(vec_idx, vec_x, vec_vals, vec_y); in MatMult_SeqSELL()
383 AVX512_Mult_Private(vec_idx, vec_x, vec_vals, vec_y); in MatMult_SeqSELL()
392 AVX512_Mult_Private(vec_idx, vec_x, vec_vals, vec_y); in MatMult_SeqSELL()
400 AVX512_Mult_Private(vec_idx, vec_x, vec_vals, vec_y); in MatMult_SeqSELL()
414 vec_y = _mm512_add_pd(vec_y, vec_y2); in MatMult_SeqSELL()
415 vec_y = _mm512_add_pd(vec_y, vec_y3); in MatMult_SeqSELL()
416 vec_y = _mm512_add_pd(vec_y, vec_y4); in MatMult_SeqSELL()
419 _mm512_mask_storeu_pd(&y[8 * i], mask, vec_y); in MatMult_SeqSELL()
421 _mm512_storeu_pd(&y[8 * i], vec_y); in MatMult_SeqSELL()
443 vec_y = _mm256_setzero_pd(); in MatMult_SeqSELL()
450 AVX2_Mult_Private(vec_idx, vec_x, vec_vals, vec_y); in MatMult_SeqSELL()
458 _mm256_storeu_pd(y + i * 8, vec_y); in MatMult_SeqSELL()
467 vec_y = _mm256_setzero_pd(); in MatMult_SeqSELL()
495 vec_y = _mm256_add_pd(_mm256_mul_pd(vec_x, vec_vals), vec_y); in MatMult_SeqSELL()
509 _mm256_storeu_pd(y + i * 8, vec_y); in MatMult_SeqSELL()
545 __m512d vec_x, vec_y, vec_vals; in MatMultAdd_SeqSELL() local
552 __m256d vec_x, vec_y, vec_y2, vec_vals; in MatMultAdd_SeqSELL() local
579 vec_y = _mm512_mask_loadu_pd(vec_y, mask, &y[8 * i]); in MatMultAdd_SeqSELL()
581 vec_y = _mm512_loadu_pd(&y[8 * i]); in MatMultAdd_SeqSELL()
590 AVX512_Mult_Private(vec_idx, vec_x, vec_vals, vec_y); in MatMultAdd_SeqSELL()
602 AVX512_Mult_Private(vec_idx, vec_x, vec_vals, vec_y); in MatMultAdd_SeqSELL()
611 AVX512_Mult_Private(vec_idx, vec_x, vec_vals, vec_y); in MatMultAdd_SeqSELL()
619 AVX512_Mult_Private(vec_idx, vec_x, vec_vals, vec_y); in MatMultAdd_SeqSELL()
633 vec_y = _mm512_add_pd(vec_y, vec_y2); in MatMultAdd_SeqSELL()
634 vec_y = _mm512_add_pd(vec_y, vec_y3); in MatMultAdd_SeqSELL()
635 vec_y = _mm512_add_pd(vec_y, vec_y4); in MatMultAdd_SeqSELL()
637 _mm512_mask_storeu_pd(&z[8 * i], mask, vec_y); in MatMultAdd_SeqSELL()
639 _mm512_storeu_pd(&z[8 * i], vec_y); in MatMultAdd_SeqSELL()
660 vec_y = _mm256_loadu_pd(y + 8 * i); in MatMultAdd_SeqSELL()
674 vec_y = _mm256_add_pd(_mm256_mul_pd(vec_x, vec_vals), vec_y); in MatMultAdd_SeqSELL()
688 _mm256_storeu_pd(z + i * 8, vec_y); in MatMultAdd_SeqSELL()