2e:null 2f:["$","title",null,{"children":"호기심 해결 in 머신러닝: (원론편) 머신러닝용 그래픽카드에 NVIDIA의 대안은 없는가? | Humble Data Miner | Observable"}] 34:T9ec,
## 통념을 검증 * 개인이 머신러닝을 하려면 필히 NVIDIA 그래픽카드를 써야한다는데... 그 이유? * 우월한 성능 때문에? → **검증이 필요** * 다른 머신러닝 도구들과 호환성 때문에? → **기정사실, 반박불가** --- ## 사전지식
### 머신러닝 학습의 대부분의 시간이 **행렬곱셈**에 쓰인다 * 따라서 행렬곱셈의 성능을 비교하면 이론적인 성능비교가 가능하다 * 행렬곱셈은 **곱셈파트(product)**와 **덧셈파트(accum.)**로 나누어져 있다 ${await FileAttachment("image@3.png").image({style: "width: 70%;"})} 출처:[www.quantamagazine.org](https://www.quantamagazine.org/mathematicians-inch-closer-to-matrix-multiplication-goal-20210323/) ### 머신러닝 데이터는 **부동소수점 타입**으로 이루어져 있다 * **FP32**(32비트 단정도 부동소수점)이 주로 사용됨 * 부호 1비트 + 지수 8비트 + 가수 23비트 = 32비트 * **TF32**(TensorFloat-32)은 NVIDIA가 제안한 가수축약형 부동소수점 타입 * 부호 1비트 + 지수 8비트 + 가수 10비트 = 19비트 ${await FileAttachment("image@2.png").image({style: "width: 75%;"})} 출처:[blogs.nvidia.com](https://blogs.nvidia.com/blog/2020/05/14/tensorfloat-32-precision-format/)

### 실험에 사용할 AMD 그리고 NVIDIA 그래픽카드 | AMD RX 6700 XT | NVIDIA RTX 3060 Ti -------- | -------- | -------- 행렬곱셈 연산부 | Steam Processors(2560개) | CUDA Cores(4864개) | | Tensor Cores(152개)

### (TF32를 이용한) NVIDIA Tensor Core 소개 * V100 TensorCore(FP32) → A100 TensorCore(TF32): 10배 성능향상 ${await FileAttachment("image@4.png").image({style: "width: 70%;"})} 출처:[developer.nvidia.com](https://developer.nvidia.com/blog/accelerating-ai-training-with-tf32-tensor-cores/) * 성능향상의 근거: TF32곱셈이 FP32곱셈보다 빠르기 때문 ${await FileAttachment("image@5.png").image({style: "width: 70%;"})} 출처:[developer.nvidia.com](https://developer.nvidia.com/blog/accelerating-ai-training-with-tf32-tensor-cores/) * 성능향상의 대가: 곱셈(product)결과의 정확도가 떨어짐 ${await FileAttachment("image@6.png").image({class:"fw",style: "width: 70%;"})} 35:Te98,{ const margin = {left:35, right:35, top:0, bottom: 20}; const pad = 5; const data = sgemm_data; const matdims = Array.from(new Set(data.map(row=>row.m))); const md_i = matdims.reduce((acc, val, i) => { return {...acc, [val]:i}; }, {}); const ops = Array.from(new Set(data.map(row=>row.Op))); const op_i = ops.reduce((acc, val, i) => { return {...acc, [val]:i}; }, {}); const awidth = (width-margin.left-margin.right); const ps = (awidth/matdims.length); const bs = (ps-2*pad)/ops.length; const height = 300; const svg = d3.create("svg").attr("viewBox", [0, 0, width, height]); const x = d3.scaleBand().domain(matdims).range([margin.left, width-margin.right]); const y = d3.scaleLinear().domain([0,d3.max(data.map(row=>row.GFLOPs))*1.1]).range([height-margin.bottom,margin.top]); svg.append("g").attr("transform", `translate(0,${height-margin.bottom})`) .call(d3.axisBottom(x).tickFormat((x,i)=>`m=${x},n=${x},k=${x}`)); svg.append("g").attr("transform", `translate(${margin.left},0)`) .call(d3.axisLeft(y).tickFormat(x=>`${x.toFixed(0)}`)); svg.append("g").attr("transform", `translate(${width-margin.right},0)`) .call(d3.axisRight(y).tickFormat(x=>`${x.toFixed(0)}`)); svg.append("g") .selectAll("rect") .data(data) .join("rect") .attr("x",(d,i)=>margin.left+pad+md_i[d.m]*ps+op_i[d.Op]*bs) .attr("y",(d,i)=>y(d.GFLOPs)) .attr("width",bs-pad) .attr("height",(d,i)=>height-margin.bottom-y(d.GFLOPs)) .attr("fill",d=>opcolor[d.Op]) .attr("stroke","none"); svg.append("g") .selectAll("text") .data(data) .join("text") .attr("class","shadow") .attr('transform', d=>`rotate(-90 ${margin.left+pad+md_i[d.m]*ps+op_i[d.Op]*bs+bs-pad} ${height-margin.bottom})`) .attr("dx", 5).attr("dy", -5) .attr("x",(d,i)=>margin.left+pad+md_i[d.m]*ps+op_i[d.Op]*bs+bs-pad) .attr("y",(d,i)=>height-margin.bottom) .attr("text-anchor","start") .attr("dominant-baseline","text-top") .attr("fill","white") .text(d=>d.Op); svg.append("g") .selectAll("text") .data(data) .join("text") .attr("x",(d,i)=>margin.left+pad+md_i[d.m]*ps+op_i[d.Op]*bs+(bs-pad)/2) .attr("y",(d,i)=>y(d.GFLOPs)) .attr("text-anchor","middle") .attr("dominant-baseline","text-top") .text(d=>d.GFLOPs.toFixed(0)); /* for(let pi = 0; pi < periods.length; pi++) { const subplot = svg.append("g").attr("transform",`translate(${margin.left+pi*ps},${margin.top})`); for(let ci = 0; ci < composite_order.length; ci++) { subplot.append("g") .attr("stroke", (_,i)=>d3.schemeCategory10[ci]) .attr("fill", "none") .selectAll("path") .data(prseq[pi][ci]) .join("path") .attr("opacity", 0.2) .attr("d", d=>`M ${pad+ci*bs} ${y(d)} h ${bs}`); const [amean,gmean] = [prmean[pi][ci].amean, prmean[pi][ci].gmean]; subplot.append("path").attr("fill","none").attr("stroke", "darkblue").attr("d", `M ${pad+ci*bs} ${y(amean)} h ${bs}`); subplot.append("path").attr("fill","none").attr("stroke", "yellow").attr("d", `M ${pad+ci*bs} ${y(gmean)} h ${bs}`); subplot.append("text").attr("fill","white").attr("stroke", "none").attr("class","shadow") .attr("alignment-baseline","baseline").attr("text-anchor","start") .attr("dy",-2).attr("x", pad+ci*bs).attr("y", y(amean)).text(amean.toFixed(2)); subplot.append("text").attr("fill","white").attr("stroke", "none").attr("class","shadow") .attr("alignment-baseline","hanging").attr("text-anchor","end") .attr("dy",2).attr("x", pad+(ci+1)*bs).attr("y", y(gmean)).text(gmean.toFixed(2)); } }*/ return svg.node(); }36:[{"id":"6df25d5a19c5089209cbc2dce5e810fef542bfc41309526176c1cc41086671a70752b33a6ab91e6f75ed96d2a4a1de6ef5c89e6a92c04990896957ab34b93be3","href":"https://static.observableusercontent.com/files/6df25d5a19c5089209cbc2dce5e810fef542bfc41309526176c1cc41086671a70752b33a6ab91e6f75ed96d2a4a1de6ef5c89e6a92c04990896957ab34b93be3","name":"image@3.png","type":"image/png","lastModified":1673800206117.218,"size":39101},{"id":"5410552142de90f03d3bfa2cb7773402fb535349cce50c29ab3c38b430b99d0fd345d69f6769418f33abc345390102a920b122e9a4af0fb0192ab66dd552681d","href":"https://static.observableusercontent.com/files/5410552142de90f03d3bfa2cb7773402fb535349cce50c29ab3c38b430b99d0fd345d69f6769418f33abc345390102a920b122e9a4af0fb0192ab66dd552681d","name":"image@5.png","type":"image/png","lastModified":1673803152587.839,"size":29819},{"id":"fdf4a75ea888d67f466122840efa826024a584e23bee4e3536cdd30951273bf807ffbac223ffa37c4b08d6a7a0fcb5081df1ded847504c3fb0f4df8981581fc4","href":"https://static.observableusercontent.com/files/fdf4a75ea888d67f466122840efa826024a584e23bee4e3536cdd30951273bf807ffbac223ffa37c4b08d6a7a0fcb5081df1ded847504c3fb0f4df8981581fc4","name":"image@6.png","type":"image/png","lastModified":1673803602584.424,"size":34075},{"id":"8d8ef81634e4d1adfaa65ff9db39004b485de476a5e228d14212268166ef76149f6527483167a9eedb5fd2c9cfba5c2d966d94137e1b939594089fd7ca583f85","href":"https://static.observableusercontent.com/files/8d8ef81634e4d1adfaa65ff9db39004b485de476a5e228d14212268166ef76149f6527483167a9eedb5fd2c9cfba5c2d966d94137e1b939594089fd7ca583f85","name":"GEMM_performance_3060ti_6700xt.csv","type":"text/csv","lastModified":1673804164941.832,"size":7140},{"id":"d72d82e7e8ce161255e35bc3eb9060bc5214935daad834120c92e120b5f8f945ff9ca432fb7a068e482a8cda047896c08e4a492582e334c19522a7ae7331abe2","href":"https://static.observableusercontent.com/files/d72d82e7e8ce161255e35bc3eb9060bc5214935daad834120c92e120b5f8f945ff9ca432fb7a068e482a8cda047896c08e4a492582e334c19522a7ae7331abe2","name":"image@2.png","type":"image/png","lastModified":1673799356454.871,"size":11616},{"id":"c3cd0ce20a12cd782ba54d557e7058b4aef0e7800b711514a1a074d4626f412156bddd122e50126c6c8253aee0bda71ff10a570935254dd8a0f639937be03ef8","href":"https://static.observableusercontent.com/files/c3cd0ce20a12cd782ba54d557e7058b4aef0e7800b711514a1a074d4626f412156bddd122e50126c6c8253aee0bda71ff10a570935254dd8a0f639937be03ef8","name":"image@4.png","type":"image/png","lastModified":1673801900968.924,"size":257213}] 32:{"id":"0b9969b76db19c2d","slug":"myth-buster-in-ml-gemm-perf-btw-nvidia-and-amd","title":"호기심 해결 in 머신러닝: (원론편) 머신러닝용 그래픽카드에 NVIDIA의 대안은 없는가?","thumbnail":"a77e6a2d6127d019473124ffe1c86640889fbcbfc0034f5bcc66b3bcc43e3e02","access_level":"public","create_time":"$D2023-01-15T15:18:12.999Z","update_time":"$D2023-02-07T14:58:22.869Z","view_time":null,"first_public_time":"$D2023-01-15T15:18:12.999Z","has_unpublished_edits":null,"fork":false,"stars":0,"starred":false,"owner":{"type":"team","id":"50faa4da52a9ff9b","login":"humble-data-miner","name":"Humble Data Miner","avatar_url":"https://avatars-next.observableusercontent.com/3046b1bea86c5e825baea7c0c403d90ad9690b5396b11b5d02b3a0839fbcb946","tier":"starter_2024"},"version":448,"publish_version":null,"role":null,"authored":false,"authors":[{"type":"individual","id":"4e2fc41e06361cc3","login":"humble-data-miner","name":"Humble Data Miner","avatar_url":"https://avatars-next.observableusercontent.com/3046b1bea86c5e825baea7c0c403d90ad9690b5396b11b5d02b3a0839fbcb946","tier":null}],"members":[{"type":"individual","id":"4e2fc41e06361cc3","login":"humble-data-miner","name":"Humble Data Miner","avatar_url":"https://avatars-next.observableusercontent.com/3046b1bea86c5e825baea7c0c403d90ad9690b5396b11b5d02b3a0839fbcb946","tier":null,"role":"editor"}],"comments":[],"custom_thumbnail":true,"trashed":false,"lapsed":null,"subscribed":null,"forks":0,"collection":{"id":"ffed4a92f8068ba7","slug":"myth-buster-in-person","title":"Myth Buster in Person","owner":{"id":"50faa4da52a9ff9b","login":"humble-data-miner","name":"Humble Data Miner"}},"type":"notebook","body":{"title":"호기심 해결 in 머신러닝: (원론편) 머신러닝용 그래픽카드에 NVIDIA의 대안은 없는가?","cells":[{"id":0,"value":"# 호기심 해결 in 머신러닝: (원론편) 머신러닝용 그래픽카드에 NVIDIA의 대안은 없는가?","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","output":"","database":"$undefined"},{"id":20,"value":"$34","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","output":"","database":"$undefined"},{"id":195,"value":"---\n## 성능실험\n
\n\n### 실험 설정\n* 데이터 타입: FP32\n* 행렬사이즈: 512,1024,2048,4096\n* 제조사가 제공한 행렬곱셈 모듈\n * AMD(RX 6700 XT) Stream Processor 사용: ${md_ROCm(1)}(FP32)\n * NVIDIA(RTX 3060 Ti) CUDA Core 사용: ${md_CUDA(1)}(FP32), ${md_CUDA(2)}(FP32)\n * NVIDIA(RTX 3060 Ti) Tensor Core 사용: ${md_TENSOR(1)}(TF32)\n* 측정값: GFLOP/s\n\n### 실험 결과","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","output":"","database":"$undefined"},{"id":246,"value":"$35","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":342,"value":"### 결과 해석\n* ${md_ROCm(1)}과 ${md_CUDA(1)}이 유사한 성능을 보인다\n* 행렬크기에 따라서 ${md_CUDA(1)}는 ${md_CUDA(2)}와 상이한 성능을 보인다\n * 소프트웨어의 수행방법의 차이가 성능의 차이로 이어짐\n * ${md_ROCm(1)}도 ROCm#2같은 개선의 여지 있을까?\n* ${md_TENSOR(1)}(TF32)는 일정크기 이상의 행렬에 대해 성능우위\n * 행렬의 크기에 비례해 성능증가\n * TF32곱셈으로인한 정확도 손실도 같이 증가","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","output":"","database":"$undefined"},{"id":352,"value":"### 개인적인 의견과 함께 마치며...\n\n* 같은 FP32곱셈이라는 공정한 비교하에서\n * NVIDIA(RTX 3060 Ti)가 AMD(RX 6700 XT)에 근소하게 앞선다\n * NVIDIA가 오랫동안 CUDA를 튜닝해왔다는 사실에 비추어 앞으로 AMD도 ROCm을 개선할 여지가 있다고 판단됨\n\n* NVIDIA RTX시리즈에 장착된 Tensor Core는 애초에 DLSS라는 특수용도 머신러닝을 위한 하드웨어\n * DLSS의 입출력이 높은 정확도를 요구하지 않는다는점에서 낮은 정확도의 부동소수점 연산은 받아들여질만함\n * 다만 일반적인 머신러닝에 대해선 사용자의 주의가 필요\n * 특정 특성값의 스케일이 너무크거나 작지않도록 정규화과정이 필수\n * 머신러닝 알고리즘의 특성에 따라서 맞지 않을수 있음\n * 시뮬레이션 알고리즘에는 맞지않아서 FP64용 TensorCore가 따로 존재\n * NVIDIA입장에서 RTX시리즈는 DLSS를 커버할정도로만 적당한규모의 Tensor Core를 제공할것으로 예상됨\n * 제조비용의 상승과 함께 판매가 상승의 적당한 변명거리\n\n* AMD의 깡성능은 나쁘지않음 (Stream Processors와 CUDA Cores간에 비교)\n * RX 7000시리즈(RDNA3)부터는 TensorCore같은 행렬곱셈에 특화된 하드웨어를 제공하는것으로 보임\n * 소프트웨어에 대한 지원이 절실함. 특히 ROCm에 대해서 다양한 한계점\n * Linux만 지원\n * 상위 라인업 그래픽카드만 지원\n * (CUDA#1, CUDA#2와 같은) 다양한 모듈이 부재\n * 업데이트와 버그픽스 주기가 너무 길다\n * 차라리 깡성능에만 주력한다할때 가격적인 메리트가 필요. 할인해달라...","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","output":"","database":"$undefined"},{"id":386,"value":"---\n## 참고자료\n* [Wikipedia - Single-precision floating-point format](https://en.wikipedia.org/wiki/Single-precision_floating-point_format)\n* [NVIDIA Developer - Accelerating AI Training with NVIDIA TF32 Tensor Cores](https://developer.nvidia.com/blog/accelerating-ai-training-with-tf32-tensor-cores/)\n* [NVIDIA Blog - TensorFloat-32 in the A100 GPU Accelerates AI Training](https://blogs.nvidia.com/blog/2020/05/14/tensorfloat-32-precision-format/)","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","output":"","database":"$undefined"},{"id":443,"value":"---\n## 부연설명 동영상\n\n","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","output":"","database":"$undefined"},{"id":9,"value":"---\n## 부록","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","output":"","database":"$undefined"},{"id":220,"value":"SELECT Device,Op,product,accum,m,n,k,AVG(GFLOPS) GFLOPs FROM \"GEMM_performance_3060ti_6700xt\" WHERE accum = 'FP32' GROUP BY m,n,k,Op,Device,product,accum ORDER BY m ASC, Device DESC, Op ASC","pinned":false,"hidden":false,"mode":"sql","author":"$undefined","summary":"$undefined","output":"sgemm_data","database":"GEMM_performance_3060ti_6700xt.csv"},{"id":289,"value":"opcolor = {return {\"ROCm#1\":\"#E80010\", \"CUDA#1\": \"#93E200\", \"CUDA#2\":\"#93E200\", \"TENSOR#1\":\"#70AD00\"}};","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":5,"value":"html`\n\n`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":402,"value":"md_ROCm = n => textcolor(`ROCm#${n}`, opcolor[\"ROCm#1\"])","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":412,"value":"md_CUDA = n => textcolor(`CUDA#${n}`, opcolor[\"CUDA#1\"])","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":415,"value":"md_TENSOR = n => textcolor(`TENSOR#${n}`, opcolor[\"TENSOR#1\"])","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":399,"value":"function textcolor(content, style = {}) {\n function yiq(color) {\n const {r, g, b} = d3.rgb(color);\n return (r * 299 + g * 587 + b * 114) / 1000 / 255; // returns values between 0 and 1\n }\n const {\n background,\n color = yiq(background) >= 0.7 ? \"#111\" : \"white\", \n padding = \"0 2px\",\n borderRadius = \"4px\",\n fontWeight = 500,\n ...rest\n } = typeof style === \"string\" ? {background: style} : style;\n return htl.html`${content}`;\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"}],"files":"$W36","stdlib":"1","titling":"auto"}} 33:"$32:body"