仅对英特尔可见 — GUID： mub1476294593345
Ixiasoft
产品终止通知
1. Intel® FPGA SDK for OpenCL™ Pro Edition最佳实践指南介绍
2. 查看您Kernel的report.html文件
3. OpenCL内核设计概念
4. OpenCL内核设计最佳实践
5. 分析（Profiling）您的内核来识别性能瓶颈
6. 提高单个Work-Item内核性能的策略
7. 提高NDRange内核数据处理效率的策略
8. 提高存储器访问效率的策略
9. 优化FPGA面积使用的策略
10. 优化英特尔 Stratix 10 OpenCL设计的策略
11. 提高主机应用程序性能的策略
12. Intel® FPGA SDK for OpenCL™ Pro版最佳实践指南存档
A. Intel® FPGA SDK for OpenCL™ Pro版最佳实践指南修订历史
仅对英特尔可见 — GUID： mub1476294593345
Ixiasoft
2.7. 基于HTML Report中的信息优化OpenCL设计实例
关于如何使用HTML报告中的信息优化OpenCL™内核的指南
执行matrix square（矩阵平方）AxA的OpenCL设计实例：
// performs matrix square A*A
// A is a square LEN*LEN matrix
// A = [ r0 : [ c[0], c[1], ... c[LEN-1] ],
// r1 : [ c[0], ... ],
// ... ],
// r[LEN-1] : [ ] ]
// LEN = 100
kernel void matrix_square (global float* restrict A, global float* restrict out)
{
for( unsigned oi = 0 ; oi < LEN*LEN ; oi++ )
{
float sum = 0.f;
int row = oi / LEN;
int col = oi % LEN;
#pragma unroll
for ( int stride = 0 ; stride < LEN ; stride++ )
{
unsigned i = (row * LEN) + stride;
unsigned j = (stride * LEN) + col;
sum += A[i] * A[j];
}
out[oi] = sum;
}
}内核matrix_square的面积分析表明触发器（FF）和RAM的估计使用率很高。
图 25. 未优化的内核matrix_square的面积报告
在System查看器中对block 2的进一步检查，表明Block2也具有高的延迟值。
图 26. 未优化的内核matrix_square的System Viewer结果
导致这些性能瓶颈是由于系统从循环内的全局存储器加载数据。因此，您可以采取的第一个优化步骤是将数据预加载到局部存储器中，如以下修改后的代码所示：
// 1. preload the data into local memory
kernel void matrix_square_v1 (global float* restrict A, global float* restrict out)
{
local float cache_a[LEN*LEN];
for( unsigned k = 0 ; k < LEN*LEN ; k++ )
{
cache_a[k] = A[k];
}
for( unsigned oi = 0 ; oi < LEN*LEN ; oi++ )
{
float sum = 0.f;
int row = oi / LEN;
int col = oi % LEN;
#pragma unroll
for( unsigned stride = 0 ; stride < LEN ; stride++ )
{
unsigned i = (row * LEN) + stride;
unsigned j = (stride * LEN) + col;
sum += cache_a[i] * cache_a[j];
}
out[oi] = sum;
}
}
图 27. 修改后的内核matrix_square_v1的面积报告结果
图 28. 修改后的内核matrix_square_v1的集群视图
如果您移除模数（模运算）并以列计数器替换，如修改后的内核matrix_square_v2中所示，您可以减少自适应查找表（ALUT）和FF的使用量。
// 1. preload the data into local memory
// 2. remove the modulus computation
kernel void matrix_square_v2 (global float* restrict A, global float* restrict out)
{
local float cache_a[LEN*LEN];
for( unsigned k = 0 ; k < LEN*LEN ; k++ )
{
cache_a[k] = A[k];
}
unsigned row = 0;
unsigned col = 0;
for( unsigned oi = 0 ; oi < LEN*LEN ; oi++ )
{
float sum = 0.f;
// keep a column counter to know when to increment row
if( col == LEN - 1 )
{
col = 0;
row += 1;
}
else
{
col += 1;
}
#pragma unroll
for( unsigned stride = 0 ; stride < LEN ; stride++ )
{
unsigned i = (row * LEN) + stride;
unsigned j = (stride * LEN) + col;
sum += cache_a[i] * cache_a[j];
}
out[oi] = sum;
}
}
图 29. 内核matrix_square_v2的面积报告
图 30. 内核matrix_square_v2的集群视图
进一步检查matrix_square_v2的面积报告，可发现索引i和j（即，分别是unsigned i = (row * LEN) + stride和unsigned j = (stride * LEN) + col）的计算具有非常不同的ALUT用法估算。
有一种方法来优化索引计算的DSP和RAM块的使用，删除乘法计算并且只追踪加法，如以下修改后的内核matrix_square_v3中所示。
// 1. preload the data into local memory
// 2. remove the modulus computation
// 3. remove DSP and RAM blocks for index calculation helps reduce the latency
kernel void matrix_square_v3 (global float* restrict A, global float* restrict out)
{
local float cache_a[LEN*LEN];
for( unsigned k = 0 ; k < LEN*LEN ; k++ )
{
cache_a[k] = A[k];
}
unsigned row_i = 0;
unsigned row_j = 0;
for( unsigned oi = 0 ; oi < LEN*LEN ; oi++ )
{
unsigned i, j;
// keep a column base counter to know when to increment the row base
if( row_j == LEN - 1 )
{
row_i += LEN;
row_j = 0;
}
else
{
row_j += 1;
}
// initialize i and j
i = row_i;
j = row_j;
float sum = 0.f;
#pragma unroll
for( unsigned stride = 0 ; stride < LEN ; stride++ )
{
i += 1; // 0, 1, 2, 3, 0,...
j += LEN; // 0, 3, 6, 9, 1,...
sum += cache_a[i] * cache_a[j];
}
out[oi] = sum;
}
}通过删除乘法步骤，您可以减少DSP的使用，如以下面积报告所示。此外，该修改有助于减少延迟。
图 31. 内核matrix_square_v3的面积报告
图 32. 内核matrix_square_v3的系统视图
为了解决携带循环的依赖关系，请展开（unroll）sum-product（和-积）了解完整并行度（parallelism）并创建寄存器来避免多次复制cache_a，如以下修改后的内核matrix_square_v4中的代码所示。
// 1. preload the data into local memory
// 2. remove the modulus computation
// 3. remove DSP and RAM blocks for index calculation helps reduce the latency
// 4. unroll the sum-product for full parallelism, create registers to avoid many copies of cache_a
kernel void matrix_square_v4 (global float* restrict A, global float* restrict out)
{
local float cache_a[LEN*LEN];
for( unsigned k = 0 ; k < LEN*LEN ; k++ )
{
cache_a[k] = A[k];
}
unsigned row_i = 0;
unsigned row_j = 0;
for( unsigned oi = 0 ; oi < LEN*LEN ; oi++ )
{
unsigned i, j;
// keep a column base counter to know when to increment the row base
if( row_j == LEN - 1 )
{
row_i += LEN;
row_j = 0;
}
else
{
row_j += 1;
}
// initialize i and j
i = row_i;
j = row_j;
float r_buf[LEN];
float c_buf[LEN];
for( int stride = 0 ; stride < LEN ; stride++ )
{
i += 1; // 0, 1, 2, 3, 0,...
j += LEN; // 0, 3, 6, 9, 1,...
r_buf[stride] = cache_a[i];
c_buf[stride] = cache_a[j];
}
// uses harder floating point when -fp-relaxed is used
float sum = 0.f;
#pragma unroll
for(unsigned idx = 0; idx < LEN; idx++)
{
sum += r_buf[idx] * c_buf[idx];
}
out[oi] = sum;
}
}如以下集群视图结果所示，通过分解计算步骤，您可以获得更改的吞吐量，但以增加区域面积使用为代价。该修改还会将延迟减少50%。
图 33. 修改后的内核matrix_square_v4的集群视图
以下集群视图提供一种替代方法，通过使用-fp-relaxed来显示点积（dot product）而非链式。
图 34. 修改后的内核matrix_square_v4的集群视图
以下表格提供全部5个内核版本的吞吐量比较：
| 内核 | ALUTs | FFs | RAM | MLAB | DSPs | Dot Product Loop Latency |
|---|---|---|---|---|---|---|
| matrix_square | 81806 (10%) | 302792 (18%) | 1989 (73%) | 408 (1%) | 100 (7%) | 637 |
| matrix_square_v1 | 20094 (2%) | 38814 (2%) | 1619 (60%) | 248 (1%) | 100 (7%) | 380 |
| matrix_square_v2 | 15487 (2%) | 51813 (3%) | 1110 (41%) | 298 (1%) | 100 (7%) | 364 |
| matrix_square_v3 | 18279 (2%) | 37554 (2%) | 1618 (60%) | 244 (1%) | 100 (7%) | 362 |
| matrix_square_v4 (-fp-relaxed) |
9681 (1%) | 22409 (1%) | 257 (9%) | 67 (0%) | 103 (7%) | 37 |