2a:null 2b:["$","title",null,{"children":"Visualizando dados de altas dimensões | Roberto Stelling | Observable"}] 30:T6d3,md `# Visualizando dados de altas dimensões #### *Problema*: Dado um conjunto de pontos em altas dimensões, como podemos ter uma ideia de como os pontos estão organizados no espaço?

Representar dados de altas dimensões em *2D* ou *3D*, independente da sua organização, é um problema que não possui uma solução única e genérica. Os dados podem estar organizados de várias formas distintas em altas dimensões e cada contexto dos dados pode sugerir uma forma diferente de projetá-los em duas ou tres dimensões. Ou seja, dependendo do *objetivo* da agregação e do seu *contexto* é muito provável que exista ***mais de uma solução*** para o mesmo conjuntos de pontos. De uma certa forma é **um problema mal definido** que não possui uma solução ótima. Para alguns problemas pode ser possível reduzir a dimensionalidade "manualmente", sem depender de um algoritmo genérico. Por exemplo, os dígitos do [MNIST¹](#ref), de 28x28 pixels, que totalizam 784 pixels - ou *784 dimensões* - podem ser visualizados em duas dimensões se criarmos dois "*features*" - ou *dimensões* - que expressam o dataset, como por exemplo: densidade e simetria. Com estas duas dimensões é possível criar uma visualização planar dos dígitos 1 e 5 como no gráfico abaixo, onde os dígitos 1 estão representados com pontos brancos e os dígitos 5 com pontos pretos.

Sobre estas novas dimensões utilizamos um Perceptron para gerar uma linha de corte entre os dígitos 1 e 5.

`31:T5c0,md`Para ajudar no problema de *visualização* de dados em altas dimensões, vamos analisar o: #

*t*-SNE [*t*-Distributed Stochastic Neighbour Embedding²](#ref) (*t*-SNE, pronunciado ***tí-ciní***) é uma técnica de visualização em 1D, 2D ou 3D de datasets de altas dimensões. O *t*-SNE, desenvolvido por *Laurens van der Maaten* e *Geoffrey Hinton*, é um refinamento do SNE e se diferencia deste, principalmente, pela utilização de distribuição *t* de Student para representar os dados em baixas dimensões (ou dados mapeados). O *t*-SNE utiliza um kernel gaussiano para converter pontos em altas dimensões para probabilidades de conexões (**P**) e um kernel *t*-Student, com um grau de liberdade, para representar as probabilidades de conexões entre os pontos em baixas dimensões (**Q**), no espaço mapeado. O custo das diferenças entre as duas distribuições **P** e **Q** é modelado pela divergência de Kullbach-Leibler²⁰, o gradiente desta função (ver \`[Equação 5]\` abaixo) é utilizado para atualizar o mapa de pontos em baixas dimensões. O algoritmo não tem garantia de convergir mas produz resultados muito bons, como por exemplo, o mapeamento das 784 dimensões do MNIST para apenas duas (ou tres, se contarmos os canais cores e marcas - que representam a mesma informação), como mostrada no gráfico abaixo, implementado com Tensorflow.js¹⁷`32:T48c,md `# Algoritmo simplificado do *t*-SNE ### Versão simétrica **Dados**: conjunto ${tex`X = \{x_1, x_2, \dots, x_n\}, x_i \in \mathbb{R}^M`}
Parâmetros da função de custo: perplexidade ${tex`Perp`}
Parâmetros de otimização: número de iterações ${tex`T`}, taxa de aprendizado ${tex`\eta`}, momentum ${tex`\alpha (t)`}.
**Resultado**: representação em baixa dimensões ${tex`\gamma^{(T)} = \{y_1, y_2,\dots,y_n\}, y_i \in \mathbb{R}^{(1, 2, 3)}`}.
\`begin\`
  Computar afinidades par a par ${tex`p_{j|i}`} com perplexidade ${tex`Perp`} (usando \`Equação 1\`)
  definir ${tex`p_{ij} = \frac{p_{j|i}+p_{i|j}}{2}`}
  gerar amostra da solução inicial ${tex`\gamma^{(0)} = \{y_1, y_2,\dots,y_n\}`} de ${tex`\mathcal{N}(0,10^{-4}I)`}
  \`for\` *t=1* \`to\` *T* \`do\`
    Calcular afinidades em baixas dimensões ${tex`q_{ij}`} (usando \`Equação 4\`)
    Calcular o gradiente ${tex`\frac{\delta C}{\delta \gamma}`} (usando \`Equação 5\`)
    \`set\` ${tex`${gamma_eval}`}
  \`end\`
\`end\``33:T6a0,md `A versão acima do algoritmo omite alguns detalhes importantes, após a leitura do paper é possível reescrever o algoritmo e gerar uma versão mais próxima de implementação que facilite o entendimento do algoritmo. # Algoritmo do *t*-SNE
*Em português* 1. Dado um conjunto de ${tex`N`} pontos em um espaço em altas dimensões 2. Determine um fator de entropia ${tex`Perp`}, taxa de aprendizado *${tex`\eta`}*, momentum ${tex`\alpha(t)`} e o número de iterações ${tex`T`} 3. Calcule a distâncias entre os pontos em altas dimensões, converta estas dimensões em probabilidades utilizando uma distribuição Gaussiana, com uma variância para cada ponto, de acordo com o fator de entropia *Perp*. 4. Faça uma busca binária para encontrar as variâncias adequadas para cada ponto, de forma tal que cada linha da matriz de probabilidades (${tex`p_{ik}\forall k`}) tenha aproximadamente a mesma entropia 5. Ajuste as probabilidades para que a matriz de probabilidades dos pontos seja simétrica, com ${tex`p_{i|j} = \frac{p_{i|j}+p_{j|i}}{2}`} 6. Faça um chute inicial do conjunto mapeado ${tex`\gamma^{(1)} = \{y_1, \dots, y_N\}`} 7. Repita ${tex`T`} vezes, atualizando ${tex`t = 1\dots T`}: 8. Calcule as probabilidades dos pontos no espaço mapeado, ${tex`q_{ij}`}, com distribuição *t* de Student com 1 grau de liberdade e ${tex`\sigma^2`} igual a 1 9. Calcule o gradiente da função de custo em relação ao conjunto ${tex`\gamma^{(t)} = \{y_1, \dots, y_N\}`} de forma que: ${tex.block`${eq5}`} 10. Ajuste os pontos ${tex`\gamma`} de forma que: ${tex.block`${gamma_eval}`} 11. O conjunto de pontos ${tex`\gamma^{(T)}`} é a saída do algoritmo`34:Tcdb,vegalite({ width: 600, height: 300, layer: [ { title: "Normal com μ=0 e σ=1", data: {values: gera_normal(-5, 5, 0.01, 1, 0)}, mark: {type: "area", fill:"#d0d0d0", fillOpacity: 0.4}, encoding: { x: {field: "x", type: "quantitative"}, y: {field: "y", type: "quantitative", title: "φ(x)"} } }, { data: { "values": [ {"x": pdistancias[0][1], "y": 0}, {"x": pdistancias[0][1], "y": normal(pdistancias[0][1],1,0)}, ] }, mark: {type: "line"}, encoding: { x: {field: "x", type: "quantitative"}, y: {field: "y", type: "quantitative"} } }, { data: { "values": [ {"x": pdistancias[0][1], "y": normal(pdistancias[0][1],1,0)}, ] }, mark: {type: "text", baseline: "top", dx: 52, dy: -110}, encoding: { text: {field: "y", type: "quantitative"}, } }, { data: { "values": [ {"x": pdistancias[0][2], "y": 0}, {"x": pdistancias[0][2], "y": normal(pdistancias[0][2],1,0)}, ] }, mark: {type: "line"}, encoding: { x: {field: "x", type: "quantitative"}, y: {field: "y", type: "quantitative"} } }, { data: { "values": [ {"x": pdistancias[0][2], "y": normal(pdistancias[0][2],1,0)}, ] }, mark: {type: "text", dx: 61, dy: -73}, encoding: { text: {field: "y", type: "quantitative"}, } }, { data: { "values": [ {"x": pdistancias[0][3], "y": 0}, {"x": pdistancias[0][3], "y": normal(pdistancias[0][3],1,0)}, ] }, mark: {type: "line"}, encoding: { x: {field: "x", type: "quantitative"}, y: {field: "y", type: "quantitative"} } }, { data: { "values": [ {"x": pdistancias[0][3], "y": normal(pdistancias[0][3],1,0)}, ] }, mark: {type: "text", dx: 47, dy: -112}, encoding: { text: {field: "y", type: "quantitative"}, } }, { data: { "values": [ {"x": pdistancias[0][4], "y": 0}, {"x": pdistancias[0][4], "y": normal(pdistancias[0][4],1,0)}, ] }, mark: {type: "line"}, encoding: { x: {field: "x", type: "quantitative"}, y: {field: "y", type: "quantitative"} } }, { data: { "values": [ {"x": pdistancias[0][4], "y": normal(pdistancias[0][4],1,0)}, ] }, mark: {type: "text", dx: 152, dy: 125}, encoding: { text: {field: "y", type: "quantitative"}, } }, { data: { "values": [ {"x": pdistancias[0][5], "y": 0}, {"x": pdistancias[0][5], "y": normal(pdistancias[0][5],1,0)}, ] }, mark: {type: "line"}, encoding: { x: {field: "x", type: "quantitative"}, y: {field: "y", type: "quantitative"} } }, { data: { "values": [ {"x": pdistancias[0][5], "y": normal(pdistancias[0][5],1,0)}, ] }, mark: {type: "text", dx: 171, dy: 138}, encoding: { text: {field: "y", type: "quantitative"}, } }, ] })35:Tce8,vegalite({ width: 600, height: 300, layer: [ { title: "Student-t com μ=0 e σ=1, 1 grau de liberdade", data: {values: gera_student(-5, 5, 0.01, 1, 0)}, mark: {type: "area", fill:"#d0d0d0", fillOpacity: 0.4}, encoding: { x: {field: "x", type: "quantitative"}, y: {field: "y", type: "quantitative", title: "φ(x)"} } }, { data: { "values": [ {"x": pdistancias[0][1], "y": 0}, {"x": pdistancias[0][1], "y": student(pdistancias[0][1],1)}, ] }, mark: {type: "line"}, encoding: { x: {field: "x", type: "quantitative"}, y: {field: "y", type: "quantitative"} } }, { data: { "values": [ {"x": pdistancias[0][1], "y": student(pdistancias[0][1],1)}, ] }, mark: {type: "text", baseline: "top", dx: 52, dy: -61}, encoding: { text: {field: "y", type: "quantitative"}, } }, { data: { "values": [ {"x": pdistancias[0][2], "y": 0}, {"x": pdistancias[0][2], "y": student(pdistancias[0][2],1)}, ] }, mark: {type: "line"}, encoding: { x: {field: "x", type: "quantitative"}, y: {field: "y", type: "quantitative"} } }, { data: { "values": [ {"x": pdistancias[0][2], "y": student(pdistancias[0][2],1)}, ] }, mark: {type: "text", dx: 61, dy: -23}, encoding: { text: {field: "y", type: "quantitative"}, } }, { data: { "values": [ {"x": pdistancias[0][3], "y": 0}, {"x": pdistancias[0][3], "y": student(pdistancias[0][3],1)}, ] }, mark: {type: "line"}, encoding: { x: {field: "x", type: "quantitative"}, y: {field: "y", type: "quantitative"} } }, { data: { "values": [ {"x": pdistancias[0][3], "y": student(pdistancias[0][3],1)}, ] }, mark: {type: "text", dx: 47, dy: -64}, encoding: { text: {field: "y", type: "quantitative"}, } }, { data: { "values": [ {"x": pdistancias[0][4], "y": 0}, {"x": pdistancias[0][4], "y": student(pdistancias[0][4],1)}, ] }, mark: {type: "line"}, encoding: { x: {field: "x", type: "quantitative"}, y: {field: "y", type: "quantitative"} } }, { data: { "values": [ {"x": pdistancias[0][4], "y": student(pdistancias[0][4],1)}, ] }, mark: {type: "text", dx: 151, dy: 100}, encoding: { text: {field: "y", type: "quantitative"}, } }, { data: { "values": [ {"x": pdistancias[0][5], "y": 0}, {"x": pdistancias[0][5], "y": student(pdistancias[0][5],1)}, ] }, mark: {type: "line"}, encoding: { x: {field: "x", type: "quantitative"}, y: {field: "y", type: "quantitative"} } }, { data: { "values": [ {"x": pdistancias[0][5], "y": student(pdistancias[0][5],1)}, ] }, mark: {type: "text", dx: 171, dy: 111}, encoding: { text: {field: "y", type: "quantitative"}, } }, ] })36:T69f,function distPold(d, perplexity, erro) { var N = Math.sqrt(d.length); var e = Math.log(perplexity); // Entropia desejada -> logn(perplexidade) var p = zeros(N*N); var plinha = zeros(N); for (var i=0; i 1e-7) Hhere -= pj * Math.log(pj); } // Ajusta beta em função do resultado if (Hhere > entropia) { // Entropia muito alta min = beta; if (max === Infinity) { beta = beta * 2; } else { beta = (beta + max) / 2; } } else { max = beta; if (min === -Infinity) { beta = beta /2; } else { beta = (beta + min) / 2; } } num++; if (Math.abs(Hhere - entropia) < erro) acabou = true; if (num >= tentativas) acabou = true; } for (var j=0; j 1e-7) Hhere -= pj * Math.log(pj); } // adjust beta based on result if(Hhere > Htarget) { // entropy was too high (distribution too diffuse) // so we need to increase the precision for more peaky distribution betamin = beta; // move up the bounds if(betamax === Infinity) { beta = beta * 2; } else { beta = (beta + betamax) / 2; } } else { // converse case. make distrubtion less peaky betamax = beta; if(betamin === -Infinity) { beta = beta / 2; } else { beta = (beta + betamin) / 2; } } // stopping conditions: too many tries or got a good precision num++; if(Math.abs(Hhere - Htarget) < tol) { done = true; } if(num >= maxtries) { done = true; } } // console.log('data point ' + i + ' gets precision ' + beta + ' after ' + num + ' binary search steps.'); // copy over the final prow to P at row i for(var j=0;j {return {x:(p.x+p.label)*(p.label+1.7), label:p.label}})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":636,"value":"md `## Projeção *\"ideal\"*`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":619,"value":"vegalite({\n width: 500,\n data: {values: cluster_falso},\n mark: {type: \"circle\", size: tamanhoCirculo, opacity: opacity},\n encoding: {\n x: {field: \"x\", type: \"quantitative\"},\n color: {field: \"label\", type: \"nominal\", scale: {scheme: colorScheme}, title: \"Cluster\"},\n }\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":582,"value":"md `## Círculos\nAlgoritmo divino: Como este dataset poderia ser projetado em 1D?`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":577,"value":"vegalite({\n width: 500,\n height : 500,\n data: {values: circulos},\n mark: {type: \"circle\", size: tamanhoCirculo, opacity: opacity},\n encoding: {\n x: {field: \"x\", type: \"quantitative\"},\n y: {field: \"y\", type: \"quantitative\"},\n color: {field: \"label\", type: \"nominal\", scale: {\"scheme\": colorScheme}, title: \"Cluster\"},\n }\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":4722,"value":"md`### Projetando os pontos radialmente!\nEssa ideia ocorre, e funciona, porque sabemos o formato dos dados originais, mas como saber qual transformação utilizar para dados desconhecidos com 10, 100 ou 1000 dimensões?`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":3944,"value":"circulos","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":3883,"value":"circulosMap = {\n // Pontos mapeados para uma dimensão em relação à sua distância da origem\n var circ = circulos.map((p) => ({x:euclidiana([p.x, p.y], [0, 0]), label:p.label}));\n // E centralizados ao redor de 0\n return circ.map((p) => ({x: p.x-circ.reduce((soma, ponto) => soma + ponto.x,0)/circulos.length,label:p.label}));\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":3873,"value":"vegalite({\n width: 500,\n data: {values: circulosMap},\n mark: {type: \"circle\", size: tamanhoCirculo, opacity: opacity},\n encoding: {\n x: {field: \"x\", type: \"quantitative\"},\n color: {field: \"label\", type: \"nominal\", scale: {scheme: colorScheme}, title: \"Cluster\"},\n }\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":545,"value":"md `# Nem sempre é possível projetar os dados separando clusters`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1169,"value":"md `### Por exemplo consumo, potência e país de origem no dataset [*carros*](https://vega.github.io/vega-lite/data/cars.json)\nSe as dimensões não forem separáveis na dimensão superior, não será possível separá-las em uma dimensão inferior. Isso leva à ideia de dimensionalidade intrínseca, que é o mínimo de dimensões necessárias para representar fielmente os dados.`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":499,"value":"vegalite({\n width: 400,\n height : 400,\n data: {values: carros},\n mark: {type: \"circle\", size: tamanhoCirculo, opacity: opacity},\n encoding: {\n x: {field: \"Horsepower\", type: \"quantitative\", title: \"Potência (Cavalo-Vapor)\"},\n y: {field: \"Miles_per_Gallon\", type: \"quantitative\", title: \"Consumo em Milhas/galão\"},\n z: {field: \"Acceleration\", type: \"quantitative\", title: \"Aceleração\" },\n color: {field: \"Origin\", type: \"nominal\", scale: {scheme: colorScheme}, title: \"Origem\"}\n }\n})\n","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":0,"value":"$31","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":6851,"value":"md`${chart}t-SNE sobre dígitos do MNIST (Bostock²¹)`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":6861,"value":"html`t-SNE sobre dígitos do MNIST (Bostock²¹)`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":6864,"value":"md `## Breve recordação de distribuições Normal e *t* de Student¹⁸`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1393,"value":"md `### Alterando parâmetros da curva de densidade de uma distribuição normal`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1155,"value":"vegalite({\n width: 600,\n height: 300,\n layer: [\n {\n title: \"Densidade da curva normal\",\n data: {values: gera_normal(-6, +6, 0.01, 1, 0)},\n mark: \"line\",\n encoding: {\n x: {field: \"x\", type: \"quantitative\"},\n y: {field: \"y\", type: \"quantitative\", title: \"φ(x)\"},\n color: {value:\"steelblue\"}\n }\n },\n {\n data: {values: gera_normal(-6, 6, 0.01, Math.sqrt(var_2), mediaP)},\n mark: {type: \"line\"},\n encoding: {\n x: {field: \"x\", type: \"quantitative\"},\n y: {field: \"y\", type: \"quantitative\"},\n color: {value: \"red\"}\n }\n }\n ]\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1243,"value":"viewof var_2 = slider({\n min: 0.01, \n max: 16, \n step: 0.01,\n value: 1,\n description: \"Variância de 0 a 9\"\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1255,"value":"viewof mediaP = slider({\n min: -2, \n max: 2, \n step: 0.01, \n description: \"Média de -2 a 2\"\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":6884,"value":"md `Altere a variância e a média da curva normal acima.\nSuponha que a curva vermelha represente a altura da população adulta (a curva em azul é mantida como referência), se você alterar a média de altura para 1.69m, por exemplo, e mantiver a variância em 1, veremos que o gráfico indica que deve ser possível encontrar indivíduos de 4m ou mais! Para que o modelo esteja mais próximo da realidade é necessário *diminuir* a variância para cerca de 0.3.`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":713,"value":"md `### Comparando distribuições normal e *t* de Student`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":892,"value":"vegalite({\n width: 600,\n height: 300,\n layer: [\n {\n title: \"Normal (vermelho) e Studend-t (azul)\",\n data: {values: gera_student(-intervalo01, intervalo01, 0.01, 1, 1)},\n mark: {type: \"line\"},\n encoding: {\n x: {field: \"x\", type: \"quantitative\"},\n y: {field: \"y\", type: \"quantitative\", title:\"φ(x)\"}\n }\n },\n {\n data: {values: gera_normal(-intervalo01, intervalo01, 0.01, Math.sqrt(var2), 0)},\n mark: {type: \"line\"},\n encoding: {\n x: {field: \"x\", type: \"quantitative\"},\n y: {field: \"y\", type: \"quantitative\"},\n color: {value: \"red\"}\n }\n }\n ]\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1324,"value":"viewof var2 = slider({\n min: 0.01,\n max: 9,\n value: 1,\n step: 0.01,\n description: \"Ajuste da variância da curva normal\"\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":6894,"value":"viewof intervalo01 = slider({\n min: 1,\n max: 20,\n value: 6,\n step: 1,\n description: \"Intervalo (-i, i)\"\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":6889,"value":"md`Uma curva de distribuição *t* de Student é \"*mais baixa*\" e com \"*cauda mais longa*\" que uma curva normal com a mesma variância. Altere a variância da curva normal e veja como ela se comporta.`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":3967,"value":"md`### Graus de liberdade e variância em normais e *t* de Student`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":801,"value":"vegalite({\n width: 600,\n height: 300,\n data: {values: gera_curvas(-intervalo, intervalo, 0.01, Math.sqrt(variancia), 0, gl)},\n mark: \"line\",\n encoding: {\n title: \"Curvas normal e t-Student\",\n x: {field: \"x\", type: \"quantitative\"},\n y: {field: \"y\", type: \"quantitative\", title: \"φ(x)\"},\n color: {field: \"Curva\", type:\"nominal\", scale: {scheme: colorScheme}, title: \"Distribuição\"}\n }\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2257,"value":"viewof intervalo = slider({\n min: 1,\n max: 100,\n value: 6,\n step: 1,\n description: \"Intervalo (-i, i)\"\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1540,"value":"viewof gl = slider({\n min: 1,\n max: 100,\n value: 1,\n step: 1,\n description: \"Graus de liberdade da distribuição t\"\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2233,"value":"viewof variancia = slider({\n min: 0.1,\n max: 9,\n value: 1,\n step: 0.1,\n description: \"Variância das duas curvas\"\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":6899,"value":"md`Uma curva *t* de Student é, na verdade, uma \"*combinação*\" de infinitas curvas normais. Com um grau de liberdade ela é \"*mais baixa*\" e possui \"*cauda mais longa*\" que a curva normal de mesma variância. Aumentando os graus de liberdade a curva *t* de Student converge para a curva normal correspondente, como pode ser visto alterando os parâmetros do gráfico acima.`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":6898,"value":"md`## Voltando ao *t*-SNE\nPrimeiro vamos revisar o algoritmo do *t*-SNE como descrito no paper original².`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1741,"value":"$32","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1802,"value":"md `## Equações\n[\\`Equação 1\\`] Similaridade no espaço em alta dimensão
\n${tex.block`${eq1}`}\n
[\\`Equação 2\\`] Função de custo de divergência de Kullback-Leibler
\n${tex.block`${eq2}`}\nque é equivalente a:
\n${tex.block`${eq6}`}\n
[\\`Equação 3\\`] Similaridade no espaço reduzido (SNE Simétrico)
\n${tex.block`${eq3}`}\n
[\\`Equação 4\\`] Ajuste da similaridade no espaço reduzido com distribuição *t* de Student com 1 grau de liberdade (distribuição da *Cauchy*)
\n${tex.block`${eq4}`}\n
[\\`Equação 5\\`] Gradiente da divergência de Kullback-Leibler [*Equação 2*] entre *P* e a probabilidade condicional *Q* com distribuição *t* de Student
\n${tex.block`${eq5}`}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":976,"value":"$33","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1144,"value":"md `Vamos agora analisar algumas partes do algoritmo, para entender melhor seus componentes.\n# *t*-SNE
Passo a passo`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":940,"value":"md `## Mapeando distâncias para probabilidades\nVamos começar com um conjunto de ${pontos.length} pontos similar ao que vimos na introdução.`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":943,"value":"vegalite({\n width: 300,\n height: 300,\n data: {values: gp},\n encoding: {\n x: {field: \"x\", type: \"quantitative\"},\n y: {field: \"y\", type: \"quantitative\"},\n color: {field: \"Cluster\", type: \"nominal\", scale:{scheme: colorScheme}, title:\"Cluster\"},\n },\n layer: [{\n mark: {type: \"circle\", size: tamanhoCirculo, opacity: opacity},\n },{\n mark: {type: \"text\", dy: 17},\n encoding:{\n text:{field:\"nome\"},\n color: {value: \"black\"}\n }\n }]\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":5421,"value":"gp = pontos.map(p=> ({x:p.x/10, y:p.y/10, nome:p.nome, Cluster:p.Cluster}))","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":5426,"value":"// Pontos no formato de entrada do algoritmo\nppontos_flat = gp.map((x)=>[x.x, x.y])","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":5431,"value":"gpD = matrizDistancias(ppontos_flat, euclidiana)","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":283,"value":"// Pontos no formato de entrada da visualização\npontos = \n [\n {x: 6.2, y: 5.0, Cluster: \"a\", nome: \"p0\"},\n {x: 10.0, y: 9.7, Cluster: \"a\", nome: \"p1\"},\n {x: 7.7, y: 12.7, Cluster: \"a\", nome: \"p2\"},\n {x: 5.0, y: 10.3, Cluster: \"a\", nome: \"p3\"},\n // {x: 7.5, y: 6, Cluster: \"a\", nome: \"p16\"},\n {x: 10.3, y: 27.5, Cluster: \"b\", nome: \"p4\"},\n {x: 14.5, y: 29.8, Cluster: \"b\", nome: \"p5\"},\n {x: 10.6, y: 35.0, Cluster: \"b\", nome: \"p6\"},\n {x: 7.5, y: 29.9, Cluster: \"b\", nome: \"p7\"},\n {x: 31.0, y: 32.0, Cluster: \"c\", nome: \"p8\"},\n {x: 35.0, y: 35.5, Cluster: \"c\", nome: \"p9\"},\n {x: 29.0, y: 37.5, Cluster: \"c\", nome: \"p10\"},\n {x: 25.0, y: 34.5, Cluster: \"c\", nome: \"p11\"},\n {x: 32.2, y: 7.5, Cluster: \"d\", nome: \"p12\"},\n {x: 34.0, y: 12.2, Cluster: \"d\", nome: \"p13\"},\n {x: 32.7, y: 17.5, Cluster: \"d\", nome: \"p14\"},\n {x: 30.0, y: 12.8, Cluster: \"d\", nome: \"p15\"},\n ];","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":4873,"value":"// Pontos no formato de entrada do algoritmo\npontos_flat = pontos.map((x)=>[x.x, x.y])","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":4731,"value":"// Número de pontos\nN = pontos.length","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":4735,"value":"N2 = N * N","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2875,"value":"md`A ideia, para transformarmos distâncias em probabilidades, é que podemos imaginar cada ponto como o centro de uma distribuição (que pode ser normal/gaussiana ou qualquer outra) e usar a distância entre este ponto e os outros como a probabilidade de ocorrência daquela distância dentro da distribuição escolhida. Quanto menor a distância entre os pontos, maior a probabilidade. *De uma certa forma, estamos determinando a vizinhança entre os pontos*.\n\nPor exemplo, nos pontos acima, a distância entre ${tex`p_0`} e ${tex`p_1`} é dado pela matriz de distâncias, na posição \\`distancias[0][1]\\` e é igual a ${tex`${d_P[0].x}`}. Em uma distribuição normal, com média ${tex`0`} e variância ${tex`1`}, esta distância corresponde a ${tex.block`distancias[0][1] = ${d_P[0].x}\\rightarrow P_{01} = ${d_P[0].y}`}\nAbaixo vemos as distâncias e probabilidades para alguns pontos usando uma distribuição normal com ${tex`\\mu = 0`} e ${tex`\\sigma^2 = 1`}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2660,"value":"$34","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":5067,"value":"// Distâncias convertidas em probabilidades, Gauss com variância 1 e média 0.0\nd_P = [\n {x: pdistancias[0][1], y: normal(pdistancias[0][1], 1, 0.0)},\n {x: pdistancias[0][2], y: normal(pdistancias[0][2], 1, 0.0)},\n {x: pdistancias[0][3], y: normal(pdistancias[0][3], 1, 0.0)},\n {x: pdistancias[0][4], y: normal(pdistancias[0][4], 1, 0.0)},\n {x: pdistancias[0][5], y: normal(pdistancias[0][5], 1, 0.0)} \n];","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2684,"value":"md `### Conversão de distâncias em probabilidades.\nVeja que ${tex`P_{05}`} não tem, necessariamente, a mesma probabilidade que ${tex`P_{50}`}.

\n\\`distancias[0][1] = \\` ${d_P[0].x} - ${tex`P_{01} = P(${d_P[0].x})`} = ${d_P[0].y}
\n\\`distancias[0][2] = \\` ${d_P[1].x} - ${tex`P_{02} = P(${d_P[1].x})`} = ${d_P[1].y}
\n\\`distancias[0][3] = \\` ${d_P[2].x} - ${tex`P_{03} = P(${d_P[2].x})`} = ${d_P[2].y}
\n\\`distancias[0][4] = \\` ${d_P[3].x} - ${tex`P_{04} = P(${d_P[3].x})`} = ${d_P[3].y}
\n\\`distancias[0][5] = \\` ${d_P[4].x} - ${tex`P_{05} = P(${d_P[4].x})`} = ${d_P[4].y}
\n\\`distancias[5][0] = \\` ${distancias[5][0]} - ${tex`P_{50} = P(${distancias[5][0]})`} = ${normal(distancias[5][0], 1.2,0)}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2901,"value":"md`Os mesmos pontos do exemplo anterior são mostrados abaixo para uma distribuição *t* de Student com ${tex`\\mu = 0`}, ${tex`\\sigma^2 = 1`} e um grau de liberdade.`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2093,"value":"$35","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1028,"value":"md `\n\\`distancias[0][1] = \\` ${pdistancias[0][1]} - ${tex`P_{01} = P(${pdistancias[0][1]})`} = ${student(pdistancias[0][1], 1)}
\n\\`distancias[0][2] = \\` ${pdistancias[0][2]} - ${tex`P_{02} = P(${pdistancias[0][2]})`} = ${student(pdistancias[0][2], 1)}
\n\\`distancias[0][3] = \\` ${pdistancias[0][3]} - ${tex`P_{03} = P(${pdistancias[0][3]})`} = ${student(pdistancias[0][3], 1)}
\n\\`distancias[0][4] = \\` ${pdistancias[0][4]} - ${tex`P_{04} = P(${pdistancias[0][4]})`} = ${student(pdistancias[0][4], 1)}
\n\\`distancias[0][5] = \\` ${pdistancias[0][5]} - ${tex`P_{05} = P(${pdistancias[0][5]})`} = ${student(pdistancias[0][5], 1)}
\n\\`distancias[5][0] = \\` ${pdistancias[5][0]} - ${tex`P_{50} = P(${pdistancias[5][0]})`} = ${student(pdistancias[5][0], 1.2)}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1000,"value":"distancias = math.reshape(matrizDistancias(pontos_flat).map((x)=>+x.toFixed(3)), [N,N])\n// distancias = m_d(pontos.values)","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":5434,"value":"pdistancias = math.reshape(gpD.map((x)=>+x.toFixed(3)), [N, N])\n// distancias = m_d(pontos.values)","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2592,"value":"d_flat = matrizDistancias(pontos_flat)//.map(x=>x/10)","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":4967,"value":"calcDistancia = [euclidiana, L2][cDistancia]","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":4912,"value":"function euclidiana(p1, p2) {\n // A distância euclidiana é L2^1/2\n return Math.sqrt(L2(p1, p2));\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":4867,"value":"// Calcula a distância L2 entre dois vetores\nfunction L2(p1, p2) {\n // p = [P1,..,Pdim]\n var dim = p1.length,\n dist = 0;\n for (var i = 0; i < dim; i++) {\n var p1i = p1[i], p2i = p2[i];\n dist += (p1i-p2i)*(p1i-p2i);\n }\n return dist;\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":4891,"value":"function matrizDistancias(pontos, funcao) {\n // pontos: Vetor de pontos em R^N\n // ṕontos = [[p_11, ..., p_0n], [p_21, ..., p_2n], ..., [p_k1,...,p_kn]]\n var D = pontos.length,\n dim = pontos[0].length,\n dist = [...new Array(D*D)],\n calcD = funcao===undefined?calcDistancia:funcao;\n for (let i = 0; i < D - 1; i++) {\n dist[i*D+i] = zero;\n for (let j = i + 1; j < D; j++ ) {\n var distancia = calcD(pontos[i], pontos[j])\n dist[i*D+j] = distancia;\n dist[j*D+i] = distancia;\n }\n }\n dist[D*D-1] = 0.0;\n return dist;\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":6925,"value":"md`## Visualizando os dados e gerando a matriz de distâncias`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":5927,"value":"vegalite({\n width: 300,\n height: 300,\n data: {values: pontos},\n encoding: {\n x: {field: \"x\", type: \"quantitative\"},\n y: {field: \"y\", type: \"quantitative\"},\n color: {field: \"Cluster\", type: \"nominal\", scale:{scheme: colorScheme}, title:\"Cluster\"},\n },\n layer: [{\n mark: {type: \"circle\", size: tamanhoCirculo, opacity: opacity},\n },{\n mark: {type: \"text\", dy: 17},\n encoding:{\n text:{field:\"nome\"},\n color: {value: \"black\"}\n }\n }]\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":4970,"value":"viewof cDistancia = radio({\n title: 'Métrica de distância',\n description: 'Escolha a métrica de distância a usar',\n options: [\n { label: 'Euclidiana', value: 0 },\n { label: 'L2', value: 1 },\n ],\n value: 1\n\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":6928,"value":"md`A princípio a matriz de distâncias pode ser computada com qualquer métrica que se deseje, embora o paper fale de distância euclidiana, a maioria das implementações sugere distância L2.`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2751,"value":"md`## Matriz de distâncias\n#### Métrica adotada: ${[\"Euclidiana\", \"L2\"][cDistancia]}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":4927,"value":"d_flat","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1086,"value":"pt(math.matrix(distancias), \"\\\\scriptsize\")","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1985,"value":"md`A distância (euclidiana ou L2) entre os pontos é calculada para todo par de pontos e a probabilidade que um ponto *x_j* esteja próximo de um ponto *x_i*, *p_j|i*, é dada pela equação abaixo, sobre uma distribuição Gaussiana com variância distinta para cada um dos pontos no espaço.\n${tex.block`${eq1}`}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1149,"value":"md `O denominador age como uma *\"normalização\"* das probabilidades, em função da densidade ao redor do ponto x_i. Assim distâncias ligeiramente maiores ao redor de pontos em locais poucos densos, são equivalentes a distâncias menores ao redor de pontos em locais mais densos. O valor de cada variância é determinado por uma busca binária utilizando o hiperparâmetro *perplexidade* (\\`Perp\\`) determinado pelo usuário.`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2946,"value":"md`## De distâncias para probabilidades, com distribuições e variância`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2944,"value":"vegalite({\n width: 300,\n height: 300,\n data: {values: pontos},\n encoding: {\n x: {field: \"x\", type: \"quantitative\"},\n y: {field: \"y\", type: \"quantitative\"},\n color: {field: \"Cluster\", type: \"nominal\", scale:{scheme: colorScheme}, title:\"Cluster\"},\n },\n layer: [{\n mark: {type: \"circle\", size: tamanhoCirculo, opacity: opacity},\n },{\n mark: {type: \"text\", dy: 17},\n encoding:{\n text:{field:\"nome\"},\n color: {value: \"black\"}\n }\n }]\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":4686,"value":"md`### Matriz de probabilidades, com mesma variância para todos os pontos e média de distâncias globais.`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":6689,"value":"pt(math.matrix(math.reshape(pp_flat.map((p)=>+p.toFixed(4)), [N,N])), \"\\\\footnotesize\")","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":6698,"value":"viewof s2 = slider({\n title: \"Variância das distâncias\",\n min: 0.1,\n max: 5,\n step: 0.1,\n value: 1\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":6585,"value":"tex.block`${eq1}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":6738,"value":"pontos_flat","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":6742,"value":"pp_flat = calcPt(pontos_flat, s2)","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2781,"value":"p_flat = calcProbabilidades(d_flat, s2)","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":5161,"value":"function distGauss(d, v) {\n return Math.exp(-(d*d)/(2*v));\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2706,"value":"function calcProbabilidades(distancias, s){\n const funcao = {normal: normaltSNE, student: studentSNE};\n let somaP = 0,\n max = math.max(distancias);\n // calc un-normalized probs and accumulate sum of probs for normalization\n return distancias.map((dist) => {\n// const p = dist > zero ? funcao[fDist](dist, s) : 0; //difGauss(dist, s2): 0;\n const p = dist >= zero ? distGauss(dist/max, s2) : 0; //difGauss(dist, s2): 0;\n// console.log(p);\n somaP += p; // accumulate the sums \t\n return p; // send probability to our array \n }).map(p => p/somaP) // return the prob vector after normalizing it using sum.\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2693,"value":"function difGauss(distancia, s2){\n return Math.exp(-(distancia**2)/(2*s2));\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":6687,"value":"function calcPt(p, s2) {\n var N = p.length,\n N2 = N*N,\n norma = 0.0,\n D = matrizDistancias(p),\n df = D.map((d)=>{\n var std = math.std(D);\n return d/(Math.sqrt(s2)*std);\n }),\n P = zeros(N2);\n for (var i=0; ip/norma);\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2468,"value":"md`# Perplexidade\nA perplexidade (${tex`Perp`}) é um hiper-parâmetro que ajusta a variância das distribuições escolhidas para cada ponto do espaço original (${tex`P`}). Como falamos antes, podemos entender a perplexidade como um fator de ajuste das diversas variâncias dos pontos no espaço original e, ao mesmo tempo, uma medida da densidade ao redor dos pontos, por isso cada ponto tem uma variância própria. No espaço projetado, (${tex`Q`}), todos os pontos possuem a mesma variância, portanto as similaridade entre dois pontos i e j, no espaço projetado, é calculada, pela \\`[Equação 3]\\`, como: ${tex.block`${eq3}`}\n`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2475,"value":"md`A perplexidade é uma medida relacionada à dispersão ao redor dos pontos, ou sua entropia. A intuição é que a perplexidade indicaria o número real de vizinhos de um ponto e seu logarítmo corresponde à medida de entropia. Então, definimos perplexidade de cada ponto como:\n${tex.block`\\log(Perp(p_i)) = entropia(p_i) = \\sum_{j\\ne i} -p_{j|i} \\log_2(p_{j|i})`}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2624,"value":"md`#### Entropia\nA entropia desejada é definida pelo parâmetro perplexidade [\\`Perp\\` = ${Perp}] (ver hiperparâmetros ao fim, na simulação): ${tex.block`entropia = \\log_2(Perp) = ${+Math.log2(Perp).toFixed(4)}`}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":3505,"value":"md``","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2580,"value":"function calcEntropia(probabilidades){\n // Calcula a entropia de um vetor de probabilidades\n return probabilidades.reduce((soma, p) => soma - (p<=zero?0:p*Math.log2(p)), 0)\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2790,"value":"md `No nosso exemplo, com todas as variâncias iguais a ${+(s2).toFixed(3)}, temos ${tex`entropia = ${+(calcEntropia(p_flat)/16).toFixed(4)}`} que corresponde a ${tex`perplexidade = ${Math.exp(calcEntropia(p_flat)/16).toFixed(4)}`}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2967,"value":"md`Para encontrar a melhor variância para cada ponto fazemos uma busca binária, ponto a ponto, procurando por um valor de variância que leve a entropia do dataset o mais perto possível da entropia desejada, em função do parâmetro \\`Perp\\`.\n\n`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2993,"value":"md`## Busca binária de variâncias em alta dimensão`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":3167,"value":"function bbVar(i, distancias, tamanho, erro=1e-6, passos=40) {\n function bbVarRec(dist, variancia, limiteInf, limiteSup, erro, passos) {\n const probabilidades = calcProbabilidades(dist, variancia),\n entropiaAtual = calcEntropia(probabilidades);\n\n if (passos <= 1 || Math.abs(entropiaAtual - entropia) <= erro)\n return probabilidades;\n\n if (entropiaAtual > entropia)\n return bbVarRec(dist, (limiteInf+variancia)/2, limiteInf, variancia, erro, passos-1);\n else\n return bbVarRec(dist, (limiteSup+variancia)/2, variancia, limiteSup, erro, passos-1);\n }\n\n const distI = distancias.slice(i*tamanho, i*tamanho+tamanho),\n MINVAR = 1e-3,\n MAXVAR = 500;\n return bbVarRec(distI, 1, MINVAR, MAXVAR, erro, passos);\n}","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":5638,"value":"$36","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":5832,"value":"$37","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":3509,"value":"function ajustaVariancias(distancias, erro, passos) {\n let tamanho = Math.sqrt(d_flat.length),\n p = [];\n for (let i = 0; i < tamanho; i++)\n p = p.concat(bbVar(i, distancias, tamanho, erro, passos))\n let soma = p.reduce((soma, atual)=> soma + atual,0);\n //soma = 1;\n return p.map(x=>x/soma);\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":3095,"value":"p_variancias = ajustaVariancias(d_flat, 1e-4, 50)","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":3103,"value":"pt(math.matrix(math.reshape(p_variancias.map(x => +x.toFixed(4)), [N,N])), \"\\\\footnotesize\")","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":3109,"value":"md`Entropia média calculada = ${calcEntropia(p_variancias)/(Math.sqrt(p_variancias.length))}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2999,"value":"entropia = Math.log2(Perp)","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":3199,"value":"viewof fDist = radio({\n title: 'Distribuição',\n description: 'Escolha a distribuição a usar',\n options: [\n { label: 'Normal', value: 'normal' },\n { label: 't de Student', value: 'student' },\n ],\n value: 'normal'\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":3139,"value":"md`# Tornando a matriz de probabilidades simétrica\nPara tornar a matriz simétrica, ou seja com ${tex`P_{i|j} = P_{j|i}`}, calculamos: ${tex.block`p_{ij} = \\frac{p_{j|i}+p_{i|j}}{2}`}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":5940,"value":"function erro(p1, p2) {\n return p1.reduce((soma, valor, i)=> soma + Math.abs(valor - p2[i]) , 0)/p1.length;\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":5947,"value":"function emq(p1, p2) {\n return p1.reduce((soma, valor, i)=> soma + (valor - p2[i]) * (valor - p2[i]) , 0)/p1.length;\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":5949,"value":"emq(distPprobcalc, pp_final)","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":3144,"value":"pp_final = {\n var tamanho = p_variancias.length;\n var tamanho_linha = Math.sqrt(tamanho);\n var m_a = new Array(p_variancias.length),\n probMedia;\n for (let i=0; i +x.toFixed(4)), [N,N])), \"\\\\footnotesize\")","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":5184,"value":"md`Entropia média calculada após ajuste = ${calcEntropia(p_final)/(Math.sqrt(p_final.length))}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":5654,"value":"distPprobcalc = distPprob(d_flat, Perp, 1e-4)","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":6766,"value":"p_final = distPprobcalc;","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":3158,"value":"md`# Mapeando os pontos para baixa dimensão\nNesse ponto, terminamos de tratar os dados em alta dimensão e já temos a matriz de probabilidades com as características desejadas. Agora é necessário aproximar os pontos em baixa dimensão, definir uma função de custo para a aproximação e encontrar o melhor conjunto de pontos utilizando gradiente descendente.\nA geração inicial dos pontos é randômica, com o número de dimensões desejado. No nosso caso vamos gerar ${Math.sqrt(d_flat.length)} pontos no ${tex`\\mathbb{R}^1`}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":3348,"value":"md`## Projeção inicial dos pontos do ${tex`\\mathbb{R}^2`} para ${tex`\\mathbb{R}^1`}\nDepois de gerar as probabilidades em alta dimensão, gera-se, randomicamente, os pontos em baixa dimensão, no espaço mapeado, no nosso caso: ${tex`\\mathbb{R}^2 \\rightarrow \\mathbb{R}^1`}. Os autores recomendam que os pontos gerados inicialmente estejam distribuidos com ${tex `\\mu = 0`} e ${tex`\\sigma^2 = 10^{-4}`}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":3351,"value":"c = vegalite({\n width: 300,\n height: 300,\n data: {values: pontos},\n encoding: {\n x: {field: \"x\", type: \"quantitative\"},\n y: {field: \"y\", type: \"quantitative\"},\n color: {field: \"Cluster\", type: \"nominal\", scale:{scheme: colorScheme}, title:\"Cluster\"},\n },\n layer: [{\n mark: {type: \"circle\", size: tamanhoCirculo, opacity: opacity},\n },{\n mark: {type: \"text\", dy: 17},\n encoding:{\n text:{field:\"nome\"},\n color: {value: \"black\"}\n }\n }]\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":4531,"value":"md`### Projeção inicial em ${tex`\\mathbb{R}^1`}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":3809,"value":"yDisplay","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":3311,"value":"vegalite({\n width: 800,\n data: {values: yDisplay},\n //title: \"Projeção inicial dos pontos\",\n encoding: {\n x: {field: \"x\", type: \"quantitative\"},\n color: {field: \"Cluster\", type: \"nominal\", scale: {scheme: colorScheme}, title: \"Cluster\"},\n },\n layer: [{\n mark: {type: \"circle\", size: tamanhoCirculo*2.5, opacity: opacity},\n },{\n mark: {type: \"text\", dy: 3},\n encoding:{\n text:{field:\"nome\", type:\"nominal\"},\n color: {value: \"black\"}\n }\n }]\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":4138,"value":"viewof tipo_projecao = radio({\n title: 'Projeção inicial',\n description: 'Escolha a forma de projetar os pontos',\n options: [\n {label:'Randômica', value:'randomico'},\n {label:'Comprimida', value:'randomicocomprimido'},\n {label:'Sobre eixo x', value:'eixox'},\n {label:'Sobre eixo y', value:'eixoy'},\n {label:'\"Ideal\"', value:'ideal'}\n ],\n value: 'randomico'\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":3447,"value":"yDisplay = {\n let valor = 1e-4;\n switch (tipo_projecao) {\n case 'randomicocomprimido':\n valor = 1e-6;\n case 'randomico':\n return pontos.map(x=>({x:gRand(valor), Cluster:x.Cluster, nome:x.nome}));\n case 'eixox':\n return pontos.map(x=>({x:x.x, Cluster:x.Cluster, nome:x.nome}));\n case 'eixoy':\n return pontos.map(x=>({x:x.y, Cluster:x.Cluster, nome:x.nome}));\n case 'ideal':\n return pontos.map((x, i)=>({x:ideal_linear.values[i].x, Cluster:x.Cluster, nome:x.nome}));\n }\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":3342,"value":"y_flat = yDisplay.map(x=>[x.x])","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":3497,"value":"md`### Cálculo das distâncias entre pontos gerados`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":3378,"value":"distQ = matrizDistancias(y_flat)","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":3377,"value":"pt(math.matrix(math.reshape(distQ.map(x=>+x.toFixed(digitos)), [N,N])), \"\\\\scriptsize\")","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":6791,"value":"digitos = Math.abs(Math.floor(Math.log10(math.mean(distQ))))","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":3500,"value":"md`## E cálculo das probabilidades\nAs probabilidades em baixa dimensão do *t*-SNE são calculadas sobre uma distribuição *t* de Student, com 1 grau de liberdade e variância 1, de acordo com a \\`[Equação 4]\\`. ${tex.block`${eq4}`}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":6097,"value":"function calcQ(y) {\n // Calcula probabilidades dos pontos no espaço mapeado, com kernel t-student\n // y: pontos no espaço mapeado\n // N: número de pontos\n // Q: probabilidades\n // D: distâncias (L2 ou Euclidiana) entre os pontos no espaço mapeado\n var N = y.length;\n var Q = zeros(N*N),\n D = matrizDistancias(y);\n var soma = 0.0;\n for(var i=0; ix/soma);\n}","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":3205,"value":"function normaltSNE(x, s, mu) {\n return normal(x, s, 0);\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":3207,"value":"function studentSNE(x, s) {\n return students(x, 1, s);\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":6176,"value":"p_flatQ = calcQ(y_flat)","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":6139,"value":"viewof pQ = pt(math.matrix(math.reshape(p_flatQ.map(x => +x.toFixed(4)), [N,N])), \"\\\\footnotesize\")","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":3443,"value":"viewof distribuicaoQ = radio({\n title: 'Distribuição',\n description: 'Escolha a distribuição a usar',\n options: [\n { label: 'Normal', value: 'normal' },\n { label: 't de Student', value: 'student' },\n ],\n value: 'student'\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":3355,"value":"function calcProbQ(distancias, s2){\n // Calcula afinidades no espaço de baixas dimensões\n // deve usar studentSNE. Normal apenas para demonstração/comparação\n\n const funcao = {normal: normaltSNE, student: studentSNE};\n let qsoma = 0;\n let dMax = Math.max(...distancias);\n const N1 = Math.sqrt(distancias.length)+1;\n var probQ = distancias.map((dist, i) => {\n const p = funcao[distribuicaoQ](dist, 1);\n //const p = 1/(1 + dist);\n if (i%N1)\n qsoma += p;\n return p;\n });\n probQ.map(p => p/qsoma);\n qsoma = 1 / qsoma;\n return {probQ, qsoma};\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":5309,"value":"pProbQ = calcProbQ(distQ, 1)","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":6340,"value":"custoGradiente(y_flat, p_final, 1)","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":4730,"value":"function prob(Y) {\n var Qu = [...new Array(N2)].map(()=>0);\n var qsum = 0.0;\n var N = Y.length, dim = Y[0].length;\n for (var i = 0; iMath.max(1e-100,x/qsum));\n \n var custo = 0.0;\n var gradiente = [];\n for (var i = 0; i < N; i++) {\n var gsum = 0;\n for (var j = 0; j < N; j++) {\n var ij = ind(i, j);\n var normedProb = Math.max(Qu[ij]/qsum, 1e-100);\n custo += -p[ij] * Math.log(normedProb);\n var premult = 4 * (pmul * p[ij] - normedProb) * Qu[ij];\n gsum += premult * (y[i] - y[j]);\n }\n gradiente.push(gsum);\n }\n return {custo, gradiente};\n}\n ","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1587,"value":"md `## Divergência de Kullback-Leibler\nA divergência de Kullback-Leibler é dada pela \\`[Equação 2]\\` ${tex.block`${eq2}`}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":3597,"value":"md`No nosso exemplo, a custo inicial das distribuições ${tex`P`} e ${tex`Q`} é: ${tex`${KLD(p_final, p_flatQ).toFixed(4)}`}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":3584,"value":"md`# Função de custo\nA função de custo deve mensurar o erro, ou divergência, entre as probabilidades no espaço em altas dimensões e as probabilidades no espaço mapeado. Para comparar as entropias relativas entre as probabilidades é utilizada a **Divergência de Kullback-Leibler** (KL). Quanto maior o valor da divergência KL, maior a diferença entre as distribuições de probabilidade. Se a divergência for 0, as duas distribuições são idênticas.`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":3613,"value":"function KLD(prob1, prob2) {\n // Custo entre duas distribuições\n // Entrada, distribuições de probabilidades P e Q\n // Retorna o somatório sobre i e j da divergência de KL\n return prob1.reduce((soma, valor, indice) => soma + KL(valor, prob2[indice]), 0)\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2196,"value":"function KL(p, q){\n return p == 0 ? 0 : q == 0 ? Infinity : p * Math.log(p/q)\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":6360,"value":"function custo(y, P) {\n // Custo entre pontos e uma distribuição\n // Entradas:\n // y: pontos no espaço mapeado\n // P: distribuição no espaço em altas dimensões\n var Q = calcQ(y);\n const N = y.length;\n var somaCusto = 0;\n for (var i=0; i+x.toFixed(11)), [N,1])), \"\\\\small\")}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":3763,"value":"md`## Ajuste dos pontos mapeados\nApós o cálculo do gradiente os pontos devem ser ajustados, para a próxima iteração, da seguinte forma: ${tex.block`${gamma_eval}`}\nO valor dos novos pontos mapeados corresponde aos pontos anteriores, somados ao gradiente por um fator de aprendizado e somados à diferença entre as duas últimas predições por um fator ${tex`\\alpha(t)`} (momentum). O paper sugere que o momentum tenha valor 0.5 nas primeiras 250 iterações e 0.8 a partir daí.`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":6480,"value":"pontos1D = {\n // Atualiza os pontos em uma dimensão a cada iteração\n function momentum(t) {\n return valores_momentum[t[0]),\n gamma1 = yDisplay.map((p)=>[p.x]);\n for (var t=0; t<=T; t++) {\n mutable iteracao = t;\n var m = momentum(t);\n var g = gradiente(gamma1, p_final, t);\n var gamma = gamma1.map((g0, i)=> {\n return [g0[0] + eta * g[i] + m * (gamma1[i][0] - gamma2[i][0])]\n });\n var pontos = yDisplay.map((p, i)=>({x:gamma[i][0], nome:p.nome, Cluster:p.Cluster}));\n if (t%passos == 0)\n yield Promises.delay(0, pontos);\n gamma2 = gamma1.slice();\n gamma1 = gamma.slice();\n }\n}","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2627,"value":"viewof Perp = slider({\n title: \"Perplexidade\",\n min: 1,\n max: 100,\n step: 0.5,\n value: 10,\n description: \"Valor do hiperparâmetro perplexidade\"\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":4284,"value":"viewof eta = slider({\n title: 'Taxa de aprendizado',\n min: 1,\n max: 250,\n value: 100,\n step: 0.01,\n description: 'Valor da taxa de aprendizado do gradiente descendente'\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":4298,"value":"viewof gatilho_momentum = slider({\n title: 'Alteração do momentum',\n min: 200,\n max: 500,\n step: 1,\n value: 250,\n description: 'Passo em que o valor do momentum será alterado'\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":4301,"value":"valores_momentum = ({true:0.5, false:0.8})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":4331,"value":"viewof T = slider({\n title: 'Número de iterações',\n min: 0,\n max: 500000,\n step: 1,\n value: 0,\n description: 'Número de iterações do gradiente descendente do t-SNE'\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":4361,"value":"viewof passos = slider({\n title: 'Intervalo entre atualizações do loop',\n min: 1,\n max: 5000,\n step: 1,\n value: 0,\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":6778,"value":"mutable iteracao = 0","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":4408,"value":"vegalite({\n width: 800,\n data: {values: pontos1D},\n //title: \"Projeção inicial dos pontos\",\n encoding: {\n x: {field: \"x\", type: \"quantitative\"},\n color: {field: \"Cluster\", type: \"nominal\", scale: {scheme: colorScheme}, title: \"Cluster\"},\n },\n layer: [{\n mark: {type: \"circle\", size: tamanhoCirculo*2.5, opacity: opacity},\n },{\n mark: {type: \"text\", dy: 3},\n encoding:{\n text:{field:\"nome\", type:\"nominal\"},\n color: {value: \"black\"}\n }\n }]\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":6998,"value":"md`Exagero: ${[\"ativo\", \"inativo\"][iteracao<=iteracoes?0:1]}
\nMomentum: ${valores_momentum[iteracaoDados originais${c}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1402,"value":"md `# Limitações\n* Do *t*-SNE:\n * O algoritmo não preserva distâncias nem densidades. Preserva apenas, até um certo grau, a vizinhança. A diferença é sutil mas importante.\n * A performace do t-SNE em tarefas gerais de redução de dimensionalidade não é claramente definida.\n * Não há garantia de convergência para a ótima global da sua função de custo.\n* Da implementação:\n * A implementação atual se aplica apenas à reduções do ${tex`\\mathbb{R}^2`} para o ${tex`\\mathbb{R}^1`}.\n * O caso apresentado não converge facilmente (se convergir).`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":4,"value":"$39","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":322,"value":"md `# Dados e funções auxiliares`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":5502,"value":"md `#### Gaussianas e distribuições randômicas`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":5505,"value":"mutable return_v = false","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":5506,"value":"mutable v_val = 0.0","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":5509,"value":"function gaussRandom1(rng) {\n if (return_v) {\n mutable return_v = false;\n return v_val;\n }\n var u = 2 * rng() - 1;\n var v = 2 * rng() - 1;\n var r = u * u + v * v;\n if (r == 0 || r > 1) return gaussRandom1(rng);\n var c = Math.sqrt(-2 * Math.log(r) / r);\n mutable v_val = v * c; // cache this for next function call for efficiency\n mutable return_v = true;\n return u * c;\n};","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":5783,"value":"tgRand = () => gRand(1e-4)","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":5618,"value":"function gRand(s) {\n var gR = 0;\n const vezes = 6;\n for (var i = 0; is);\n else if (typeof(s) == 'function') // Idealmente, funcao retornará um numero\n return [...new Float64Array(n)].map(()=>s());\n else if (typeof(s) == 'undefined') // Retorna tgRand\n return [...new Float64Array(n)].map(()=>tgRand());\n return [...new Array(n)].map(()=>s);\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":5532,"value":"function matriz(m, n, s) {\n // Retorna uma matriz mxn inicializada com s\n // Se s não for definido, inicializa com tgRand (ver vetor)\n return [...new Array(m)].map(()=>vetor(n, s));\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2416,"value":"md`#### Gera vetor de distâncias\nMais econõmico em espaço que matriz`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":5412,"value":"function media(vetor) {\n // Media de valores de um vetor\n return vetor.reduce((soma, x)=> soma + x, 0)/vetor.length;\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2557,"value":"zero = 1e-100","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2420,"value":"md`Gera o índice no vetor de distâncias a partir de i,j e o tamanho k`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":4707,"value":"function ind(i, j) {\n return i * pontos.values.length + j;\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2355,"value":"function indT(i, j, k) {\n function triangular(i) {\n return (i * (i + 1)) / 2;\n }\n \n let menor = Math.min(i, j), maior = Math.max(i, j);\n return triangular(k) - triangular(k-menor) + maior - menor;\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2412,"value":"md`#### Gera matriz de distâncias`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":3370,"value":"function distR1(pi, pj){\n // Função de distância para pontos no formato {x: X}\n return distR1_p(pi.x, pj.x);\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":4346,"value":"function distR1_p(pi, pj){\n // Função de distância para pontos no formato {x: X}\n return Math.sqrt((pi-pj)*(pi-pj));\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2600,"value":"md`#### Matrizes de distâncias e probabilidades \"achatadas\"`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2602,"value":"function valorIJ(i, j, m) {\n // Posição [i][j] de uma matrix m kxk\n return m[Math.sqrt(m.length)*i+j];\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":3146,"value":"function atribIJ(i, j, m, valor) {\n // Posição [i][j] de uma matrix m kxk\n m[Math.sqrt(m.length)*i+j] = valor;\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2613,"value":"valorIJ(0,1,m_p)","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2571,"value":"m_p = d_flat.map(y=>y<=zero?0.0:student(y, 1))","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2449,"value":"md`Dados artificiais para projeção idealizada dos 16 pontos`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":444,"value":"ideal_linear = ({\n \"values\": [\n {\"x\": 0.72, \"y\": 1, \"Cluster\": \"a\"},\n {\"x\": 0.82, \"y\": 1.47, \"Cluster\": \"a\"},\n {\"x\": 0.92, \"y\": 2, \"Cluster\": \"a\"},\n {\"x\": 1.02, \"y\": 1.53, \"Cluster\": \"a\"},\n {\"x\": 1.53, \"y\": 3.25, \"Cluster\": \"b\"},\n {\"x\": 1.63, \"y\": 3.73, \"Cluster\": \"b\"},\n {\"x\": 1.73, \"y\": 4.25, \"Cluster\": \"b\"},\n {\"x\": 1.83, \"y\": 3.74, \"Cluster\": \"b\"},\n {\"x\": 3.23, \"y\": 3, \"Cluster\": \"c\"},\n {\"x\": 3.33, \"y\": 3.55, \"Cluster\": \"c\"},\n {\"x\": 3.43, \"y\": 4, \"Cluster\": \"c\"},\n {\"x\": 3.53, \"y\": 3.45, \"Cluster\": \"c\"},\n {\"x\": 2.53, \"y\": 0.75, \"Cluster\": \"d\"},\n {\"x\": 2.63, \"y\": 1.22, \"Cluster\": \"d\"},\n {\"x\": 2.73, \"y\": 1.75, \"Cluster\": \"d\"},\n {\"x\": 2.83, \"y\": 1.28, \"Cluster\": \"d\"},\n ]\n })","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1998,"value":"md`#### Dataset carros`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":490,"value":"carros = d3.json(\"https://vega.github.io/vega-lite/data/cars.json\")","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2000,"value":"md `#### Dataset meia lua`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":557,"value":"m_l = d3.json(\"https://raw.githubusercontent.com/RobStelling/miscImg/master/dados/halfMoon.json\")","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":650,"value":"meia_lua = JSON.parse(m_l)","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2003,"value":"md`#### Dataset círculos`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":579,"value":"circ = d3.json(\"https://raw.githubusercontent.com/RobStelling/miscImg/master/dados/2circulos.json\")","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":653,"value":"circulos = JSON.parse(circ)","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":847,"value":"vegalite({\n width: 600,\n height: 300,\n layer: [\n {\n title: \"Normal com μ=0 e σ²=1\",\n data: {values: gera_normal(-6, 6, 0.01, 1, 0)},\n mark: {type: \"area\", fill:\"#d0d0d0\", fillOpacity: 0.4},\n encoding: {\n x: {field: \"x\", type: \"quantitative\"},\n y: {field: \"y\", type: \"quantitative\", title: \"φ(x)\"}\n }\n }\n ]\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2005,"value":"md`#### Atributos de gráficos`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":380,"value":"tamanhoCirculo = 150","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":388,"value":"opacity = 0.45","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":427,"value":"colorScheme = \"set1\"","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2008,"value":"md `#### Curvas normal e *t* de Student`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":795,"value":"function gera_curvas(minimo, maximo, step, sigma, mi, gl) {\n // Gera pontos para distribuições Normal e Student com mesma variância\n let vetor = [];\n for (let x = minimo; x < maximo; x+= step) {\n vetor.push({x:x, y:normal(x, sigma, mi), Curva:\"Normal\"});\n vetor.push({x:x, y:students(x, gl, sigma), Curva:\"Student\"});\n }\n return vetor;\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":682,"value":"function gera_normal(minimo, maximo, step, sigma, mi) {\n let vetor = [];\n for (let x = minimo; x < maximo; x+= step)\n vetor.push({x:x, y:normal(x, sigma, mi)});\n return vetor;\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":678,"value":"function normal(x, s, mi) {\n let y;\n y = 1/(s*Math.sqrt(2*Math.PI));\n y = y * Math.exp(-((x-mi)**2)/(2*s**2));\n return +y.toFixed(4);\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":737,"value":"function gera_student(minimo, maximo, step, gl) {\n let vetor = [];\n for (let x = minimo; x <= maximo; x+= step)\n vetor.push({x:x, y:student(x, gl)});\n return vetor;\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2231,"value":"function student(x, gl) {\n // t de Student com desvio padrão 1\n return students(x, gl, 1);\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2225,"value":"function students(x, gl, s) {\n return +(stats.gammaFunc((gl+1)/2)/((Math.sqrt(gl*Math.PI)*s)*stats.gammaFunc(gl/2))*(1+((x/s)**2/gl))**(-(gl+1)/2)).toFixed(4)\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":774,"value":"function cauchy(x) {\n return 1/(Math.PI*(1+x*x))\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2017,"value":"md`##### Função gamma`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1447,"value":"p = [\n 0.99999999999980993,\n 676.5203681218851,\n -1259.1392167224028,\n 771.32342877765313,\n -176.61502916214059,\n 12.507343278686905,\n -0.13857109526572012,\n 9.9843695780195716e-6,\n 1.5056327351493116e-7\n]","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1451,"value":"g_ln = 607/128","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1454,"value":"p_ln = [\n 0.99999999999999709182,\n 57.156235665862923517,\n -59.597960355475491248,\n 14.136097974741747174,\n -0.49191381609762019978,\n 0.33994649984811888699e-4,\n 0.46523628927048575665e-4,\n -0.98374475304879564677e-4,\n 0.15808870322491248884e-3,\n -0.21026444172410488319e-3,\n 0.21743961811521264320e-3,\n -0.16431810653676389022e-3,\n 0.84418223983852743293e-4,\n -0.26190838401581408670e-4,\n 0.36899182659531622704e-5\n]","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":723,"value":"function logGamma(Z) {\n var S=1+76.18009173/Z-86.50532033/(Z+1)+24.01409822/(Z+2)-1.231739516/(Z+3)+.00120858003/(Z+4)-.00000536382/(Z+5);\n var LG=(Z-.5)*Math.log(Z+4.5)-(Z+4.5)+Math.log(S*2.50662827465);\n\treturn LG;\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1443,"value":"function lngamma(z) {\n if(z < 0) return Number('0/0');\n var x = p_ln[0];\n for(var i = p_ln.length - 1; i > 0; --i) x += p_ln[i] / (z + i);\n var t = z + g_ln + 0.5;\n return .5*Math.log(2*Math.PI)+(z+.5)*Math.log(t)-t+Math.log(x)-Math.log(z);\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1436,"value":"function gamma (z) {\n var g = 7;\n if (z < 0.5) {\n return Math.PI / (Math.sin(Math.PI * z) * gamma(1 - z));\n }\n else if(z > 100) return Math.exp(lngamma(z));\n else {\n z -= 1;\n var x = p[0];\n for (var i = 1; i < g + 2; i++) {\n x += p[i] / (z + i);\n }\n var t = z + g + 0.5;\n return Math.sqrt(2 * Math.PI)\n * Math.pow(t, z + 0.5)\n * Math.exp(-t)\n * x;\n }\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2012,"value":"md`#### Matriz de dados em *tex*`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1084,"value":"pt = (matrix, size) => {\n if (size == undefined)\n size = \"\\\\small\";\n const data = matrix.toArray().map(row => row.join(' & ')).join(' \\\\\\\\ ')\n const el = tex`${size}\n\\left(\\begin{matrix}\n${data}\n\\end{matrix}\\right)\n`\n el.value = matrix\n return el\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2019,"value":"md `#### Equações em *tex*`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":5260,"value":"tex.block`${eq5}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1957,"value":"eq1 = String.raw`p_{j|i} = \\frac{\\exp(-\\|x_i-x_j\\|^2/2\\sigma^2_i)}{\\sum_{k\\neq i}\\exp(-\\|x_i-x_k\\|^2/2\\sigma^2_i)}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1972,"value":"eq2 = String.raw`C = \\sum_i KL(P_i\\|Q_i) = \\sum_i\\sum_j p_{j|i} \\log\\frac{p_{j|i}}{q_{j|i}}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1975,"value":"eq3 = String.raw`q_{ij} = \\frac{\\exp(-\\|y_i-y_j\\|^2)}{\\sum_{k\\neq l}\\exp(-\\|y_k-y_l\\|^2)}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1979,"value":"eq4 = String.raw`q_{ij} = \\frac{(1+\\|y_i-y_j\\|^2)^{-1}}{\\sum_{k\\neq l}(1+\\|y_k-y_l\\|^2)^{-1}}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1982,"value":"eq5 = String.raw`\\frac{\\delta C}{\\delta y_i} = 4\\sum_j(p_{ij}-q_{ij})(y_i-y_j)(1+\\|y_i-y_j\\|^2)^{-1}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2059,"value":"eq6 = String.raw`\\sum_i\\sum_j p_{ij} \\log p_{ij}-p_{ij}\\log q_{ij}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":3758,"value":"gamma_eval = String.raw`\\gamma^{(t)} = \\gamma^{(t-1)} + \\eta\\frac{\\delta C}{\\delta \\gamma} + \\alpha(t)(\\gamma^{(t-1)} - \\gamma^{(t-2)})`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":260,"value":"md `# Conteúdo importado`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":6813,"value":"import {chart} from \"@mbostock/lets-try-t-sne\"","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1279,"value":"import {slider, radio} from \"@jashkenas/inputs\"","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":266,"value":"vegalite = require(\"@observablehq/vega-lite\")","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1089,"value":"math = require('https://unpkg.com/mathjs@5.0.1/dist/math.min.js')","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":281,"value":"d3 = require(\"d3-fetch@1\")","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":2240,"value":"stats = require('statdists')","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":7069,"value":"gaussRandom = (function() {\n // return_v: Tells if there is a cached value\n // v_val: Cached value\n var return_v = false;\n var v_val = 0.0;\n return function gauss() {\n if(return_v) { \n return_v = false;\n return v_val; \n }\n var u = 2*Math.random()-1;\n var v = 2*Math.random()-1;\n var r = u*u + v*v;\n if(r == 0 || r > 1)\n return gauss();\n var c = Math.sqrt(-2*Math.log(r)/r);\n v_val = v*c;\n return_v = true;\n return u*c;\n };\n})();","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":7072,"value":"gaussRandom()","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":7085,"value":"","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"}],"files":"$W3a","stdlib":"1","titling":"auto"}} 2f:"$2e:body"