29:null 2a:["$","title",null,{"children":"Abrindo a caixa preta do t-SNE | Roberto Stelling | Observable"}] 2f:T6f7,tsneProblema = md `# Visualizando dados de altas dimensões #### *Problema*: Dado um conjunto de pontos em altas dimensões, como podemos ter uma ideia de como os pontos estão organizados no espaço?

Representar dados de altas dimensões em *2D* ou *3D*, independente da sua organização, é um problema que não possui uma solução única e genérica. Os dados podem estar organizados de várias formas distintas em altas dimensões e cada contexto dos dados pode sugerir uma forma diferente de projetá-los em duas ou tres dimensões. Ou seja, dependendo do *objetivo* da agregação e do seu *contexto* é muito provável que exista ***mais de uma solução*** para o mesmo conjuntos de pontos. De uma certa forma é **um problema mal definido** que não possui uma solução ótima. Para alguns problemas pode ser possível reduzir a dimensionalidade "manualmente", sem depender de um algoritmo genérico. Por exemplo, os dígitos do [MNIST¹](#ref), de 28x28 pixels, que totalizam 784 pixels - ou *784 dimensões* - podem ser visualizados em duas dimensões se criarmos dois "*features*" - ou *dimensões* - que expressam o dataset, como por exemplo: densidade e simetria[²²](#ref). Com estas duas dimensões é possível criar uma visualização planar dos dígitos 1 e 5 como no gráfico abaixo, onde os dígitos 1 estão representados com pontos brancos e os dígitos 5 com pontos pretos.

Sobre estas novas dimensões utilizamos um Perceptron para gerar uma linha de corte entre os dígitos 1 e 5.

`30:T5c5,md`Para resolver o problema de *visualização* de dados em altas dimensões, vamos analisar o: #

*t*-SNE [*t*-Distributed Stochastic Neighbour Embedding²](#ref) (*t*-SNE, pronunciado ***tí-ciní***) é uma técnica de visualização em *1D*, *2D* ou *3D* de datasets de altas dimensões. O *t*-SNE, desenvolvido por *Laurens van der Maaten* e *Geoffrey Hinton*, é um refinamento do SNE e se diferencia deste, principalmente, pela utilização de distribuição *t* de Student para representar os dados em baixas dimensões (ou dados mapeados). O *t*-SNE utiliza um kernel gaussiano para converter pontos em altas dimensões para probabilidades de conexões (**P**) e um kernel *t*-Student, com um grau de liberdade, para representar as probabilidades de conexões entre os pontos em baixas dimensões (**Q**), no espaço mapeado. O custo das diferenças entre as duas distribuições **P** e **Q** é modelado pela divergência de Kullbach-Leibler²⁰, o gradiente desta função (ver \`[Equação 5]\` abaixo) é utilizado para atualizar o mapa de pontos em baixas dimensões. O *t*-SNE não tem garantia de convergir mas produz resultados muito bons, como por exemplo, o mapeamento das 784 dimensões do MNIST para apenas duas (ou tres, se contarmos os canais cores e marcas - que representam a mesma informação), como mostrada no gráfico abaixo, implementado com Tensorflow.js¹⁷`31:T483,tsneAlgoritmo1 = md `# Algoritmo simplificado do t-SNE **Dados**: conjunto ${tex`X = \{x_1, x_2, \dots, x_n\}, x_i \in \mathbb{R}^M`}
Parâmetros da função de custo: perplexidade ${tex`Perp`}
Parâmetros de otimização: número de iterações ${tex`T`}, taxa de aprendizado ${tex`\eta`}, momentum ${tex`\alpha (t)`}.
**Resultado**: representação em baixa dimensões ${tex`\gamma^{(T)} = \{y_1, y_2,\dots,y_n\}, y_i \in \mathbb{R}^{(1, 2, 3)}`}.
\`begin\`
  Calcular afinidades par a par ${tex`p_{j|i}`} com perplexidade ${tex`Perp`} (usando \`Equação 1\`)
  definir ${tex`p_{ij} = \frac{p_{j|i}+p_{i|j}}{2}`}
  gerar amostra da solução inicial ${tex`\gamma^{(0)} = \{y_1, y_2,\dots,y_n\}`} de ${tex`\mathcal{N}(0,10^{-4}I)`}
  \`for\` *t=1* \`to\` *T* \`do\`
    Calcular afinidades em baixas dimensões ${tex`q_{ij}`} (usando \`Equação 4\`)
    Calcular o gradiente ${tex`\frac{\delta C}{\delta \gamma}`} (usando \`Equação 5\`)
    \`set\` ${tex`${gammaEval}`}
  \`end\`
\`end\``32:T6e4,tsneAlgoritmo2 = md `A versão acima do algoritmo omite alguns detalhes importantes, após a leitura do paper é possível reescrever o algoritmo e gerar uma versão passível de ser implementada e que facilite o entendimento do algoritmo. # Algoritmo do *t*-SNE
*Revisitado* 1. Dado um conjunto de ${tex`N`} pontos em um espaço em altas dimensões 2. Determine um fator de entropia ${tex`Perp`}, taxa de aprendizado *${tex`\eta`}*, momentum ${tex`\alpha(t)`} e o número de iterações ${tex`T`} 3. Calcule a distâncias entre os pontos em altas dimensões, converta estas dimensões em probabilidades utilizando uma distribuição Gaussiana, com uma variância para cada ponto, de acordo com o fator de entropia ${tex`Perp`}. 4. Faça uma busca binária para encontrar as variâncias adequadas para cada ponto, de forma tal que cada linha da matriz de probabilidades (${tex`p_{ik}\forall k`}) tenha aproximadamente a mesma entropia, em função de ${tex`Perp`}. 5. Ajuste as probabilidades para que a matriz de probabilidades dos pontos no espaço original seja simétrica, com ${tex`p_{i|j} = \frac{p_{i|j}+p_{j|i}}{2}`} 6. Faça um chute inicial do conjunto mapeado ${tex`\gamma^{(1)} = \{y_1, \dots, y_N\}`} 7. Repita ${tex`T`} vezes, atualizando ${tex`t = 1\dots T`}: 8. Calcule as probabilidades dos pontos no espaço mapeado, ${tex`q_{ij}`}, com distribuição *t* de Student com 1 grau de liberdade e ${tex`\sigma^2`} igual a 1 9. Calcule o gradiente da função de custo em relação ao conjunto ${tex`\gamma^{(t)} = \{y_1, \dots, y_N\}`} de forma que: ${tex.block`${eq5}`} 10. Ajuste os pontos ${tex`\gamma`} de forma que: ${tex.block`${gammaEval}`} 11. O conjunto de pontos ${tex`\gamma^{(T)}`} é a saída do algoritmo`33:Tcc3,vegalite({ width: 600, height: 300, layer: [ { title: "Normal com μ=0 e σ=1", data: {values: pontosNormal(-5, 5, 0.01, 1, 0)}, mark: {type: "area", fill:"#d0d0d0", fillOpacity: 0.4}, encoding: { x: {field: "x", type: "quantitative"}, y: {field: "y", type: "quantitative", title: "φ(x)"} } }, { data: { "values": [ {"x": distancias[0][1], "y": 0}, {"x": distancias[0][1], "y": normal(distancias[0][1],1,0)}, ] }, mark: {type: "line"}, encoding: { x: {field: "x", type: "quantitative"}, y: {field: "y", type: "quantitative"} } }, { data: { "values": [ {"x": distancias[0][1], "y": normal(distancias[0][1],1,0)}, ] }, mark: {type: "text", baseline: "top", dx: 52, dy: -109}, encoding: { text: {field: "y", type: "quantitative"}, } }, { data: { "values": [ {"x": distancias[0][2], "y": 0}, {"x": distancias[0][2], "y": normal(distancias[0][2],1,0)}, ] }, mark: {type: "line"}, encoding: { x: {field: "x", type: "quantitative"}, y: {field: "y", type: "quantitative"} } }, { data: { "values": [ {"x": distancias[0][2], "y": normal(distancias[0][2],1,0)}, ] }, mark: {type: "text", dx: 61, dy: -73}, encoding: { text: {field: "y", type: "quantitative"}, } }, { data: { "values": [ {"x": distancias[0][3], "y": 0}, {"x": distancias[0][3], "y": normal(distancias[0][3],1,0)}, ] }, mark: {type: "line"}, encoding: { x: {field: "x", type: "quantitative"}, y: {field: "y", type: "quantitative"} } }, { data: { "values": [ {"x": distancias[0][3], "y": normal(distancias[0][3],1,0)}, ] }, mark: {type: "text", dx: 47, dy: -112}, encoding: { text: {field: "y", type: "quantitative"}, } }, { data: { "values": [ {"x": distancias[0][4], "y": 0}, {"x": distancias[0][4], "y": normal(distancias[0][4],1,0)}, ] }, mark: {type: "line"}, encoding: { x: {field: "x", type: "quantitative"}, y: {field: "y", type: "quantitative"} } }, { data: { "values": [ {"x": distancias[0][4], "y": normal(distancias[0][4],1,0)}, ] }, mark: {type: "text", dx: 152, dy: 126}, encoding: { text: {field: "y", type: "quantitative"}, } }, { data: { "values": [ {"x": distancias[0][5], "y": 0}, {"x": distancias[0][5], "y": normal(distancias[0][5],1,0)}, ] }, mark: {type: "line"}, encoding: { x: {field: "x", type: "quantitative"}, y: {field: "y", type: "quantitative"} } }, { data: { "values": [ {"x": distancias[0][5], "y": normal(distancias[0][5],1,0)}, ] }, mark: {type: "text", dx: 171, dy: 136}, encoding: { text: {field: "y", type: "quantitative"}, } }, ] })34:Tcd0,vegalite({ width: 600, height: 300, layer: [ { title: "Student-t com μ=0 e σ=1, 1 grau de liberdade", data: {values: pontosStudent(-5, 5, 0.01, 1, 0)}, mark: {type: "area", fill:"#d0d0d0", fillOpacity: 0.4}, encoding: { x: {field: "x", type: "quantitative"}, y: {field: "y", type: "quantitative", title: "φ(x)"} } }, { data: { "values": [ {"x": distancias[0][1], "y": 0}, {"x": distancias[0][1], "y": student(distancias[0][1],1)}, ] }, mark: {type: "line"}, encoding: { x: {field: "x", type: "quantitative"}, y: {field: "y", type: "quantitative"} } }, { data: { "values": [ {"x": distancias[0][1], "y": student(distancias[0][1],1)}, ] }, mark: {type: "text", baseline: "top", dx: 52, dy: -61}, encoding: { text: {field: "y", type: "quantitative"}, } }, { data: { "values": [ {"x": distancias[0][2], "y": 0}, {"x": distancias[0][2], "y": student(distancias[0][2],1)}, ] }, mark: {type: "line"}, encoding: { x: {field: "x", type: "quantitative"}, y: {field: "y", type: "quantitative"} } }, { data: { "values": [ {"x": distancias[0][2], "y": student(distancias[0][2],1)}, ] }, mark: {type: "text", dx: 61, dy: -23}, encoding: { text: {field: "y", type: "quantitative"}, } }, { data: { "values": [ {"x": distancias[0][3], "y": 0}, {"x": distancias[0][3], "y": student(distancias[0][3],1)}, ] }, mark: {type: "line"}, encoding: { x: {field: "x", type: "quantitative"}, y: {field: "y", type: "quantitative"} } }, { data: { "values": [ {"x": distancias[0][3], "y": student(distancias[0][3],1)}, ] }, mark: {type: "text", dx: 47, dy: -63}, encoding: { text: {field: "y", type: "quantitative"}, } }, { data: { "values": [ {"x": distancias[0][4], "y": 0}, {"x": distancias[0][4], "y": student(distancias[0][4],1)}, ] }, mark: {type: "line"}, encoding: { x: {field: "x", type: "quantitative"}, y: {field: "y", type: "quantitative"} } }, { data: { "values": [ {"x": distancias[0][4], "y": student(distancias[0][4],1)}, ] }, mark: {type: "text", dx: 150, dy: 102}, encoding: { text: {field: "y", type: "quantitative"}, } }, { data: { "values": [ {"x": distancias[0][5], "y": 0}, {"x": distancias[0][5], "y": student(distancias[0][5],1)}, ] }, mark: {type: "line"}, encoding: { x: {field: "x", type: "quantitative"}, y: {field: "y", type: "quantitative"} } }, { data: { "values": [ {"x": distancias[0][5], "y": student(distancias[0][5],1)}, ] }, mark: {type: "text", dx: 171, dy: 112}, encoding: { text: {field: "y", type: "quantitative"}, } }, ] })35:T605,md`# Gradiente O gradiente da função de custo é dado pela \`[Equação 5]\`, que relaciona as probabilidades no espaço em altas dimensões (${tex`p_{ij}`}), com as probabilidades no espaço mapeado (${tex`q_{ij}`}) e os pontos no espaço mapeado (${tex`y_i`} e ${tex`y_j`}). ${tex.block`${eq5}`} Durante a otimização, ${tex`p`} é mantido fixo, os pontos ${tex`y`} são ajustados em função do gradiente e, por definição, as probabilidades ${tex`q`} são recalculadas a cada iteração. Para acelerar o processo de otimização e permitir encontrar soluções melhores, o paper sugere a adoção de um dos dois *"truques"* a seguir: 1. **Compressão inicial**: Forçar os pontos do mapa (em menor dimensão) a ficarem próximos entre si no início da otimização. Quando a distância entre os pontos é pequena, é fácil para os aglomerados conseguir mover entre si, de um lado para o outro, explorando melhor o espaço de soluções das possíveis organizações dos dados. 2. **Exagero inicial**: Multiplicar todos os ${tex`p_{ij}`} por um fator, como por exemplo 4, nos estágios iniciais da otimização. Isso significa que quase todos os ${tex`q_{ij}`}, que ainda somam 1, são muito pequenos para modelar os valores altos dos ${tex`p_{ij}`}. Como resultado, a otimização é encorajada a focar na modelagem de grantes ${tex`p_{ij}`} para grandes ${tex`q_{ij}`}. O efeito final é que os aglomerados entre os dados tendem a formar grupos separados no mapa, o que facilita aos clusters se moverem de um lado para o outro.`36:T4bc,md`Taxa de aprendizado: ${bind(html``, viewof eta)} ${bind(html``, viewof eta)}
Alteração do momentum: ${bind(html``, viewof gatilhoMomentum)} ${bind(html``, viewof gatilhoMomentum)}
Iterações com exagero: ${bind(html``, viewof itExagero)} ${bind(html``, viewof itExagero)}
Fator de exagero: ${bind(html``, viewof valorExagero)} ${bind(html``, viewof valorExagero)}
Perplexidade: ${bind(html``, viewof Perp)} ${bind(html``, viewof Perp)}
Número de iterações: ${bind(html``, viewof T)} ${bind(html``, viewof T)}`37:T763,pontosMapa = { if (iteracao >= T) yield yDisplay.map((p, i)=>(p.y==undefined?{x:Y[i][0], nome:p.nome, Cluster:p.Cluster}: {x:Y[i][0], y:Y[i][1], nome:p.nome, Cluster:p.Cluster})); else { // Adaptado de: https://github.com/karpathy/tsnejs var N = Y.length; var dim = Y[0].length; var grad = gradiente(Y, pFinal, iteracao); var sign = ((p)=>p<0?-1:p>0?1:p); mutable custoRun = custo(Y, pFinal); mutable iteracao++; // perform gradient step for(var i=0;i(p.y==undefined?{x:Y[i][0], nome:p.nome, Cluster:p.Cluster}: {x:Y[i][0], y:Y[i][1], nome:p.nome, Cluster:p.Cluster})); } }38:T9b1,ref = md`# Referências e recursos adicionais ### BibTeX do artigo \`\`\` @article{maaten2008visualizing, title={Visualizing data using t-SNE}, author={Maaten, Laurens van der and Hinton, Geoffrey}, journal={Journal of machine learning research}, volume={9}, number={Nov}, pages={2579--2605}, year={2008} } \`\`\` ### Links 1. [MNIST](http://yann.lecun.com/exdb/mnist/) 2. [Paper: Visualizing data using t-SNE](http://www.jmlr.org/papers/volume9/vandermaaten08a/vandermaaten08a.pdf) 3. [Site do t-SNE - Laurens van der Maaten](https://lvdmaaten.github.io/tsne/) 4. [Wikipedia: t-SNE](https://en.wikipedia.org/wiki/T-distributed_stochastic_neighbor_embedding) 5. [Paper: Linear t-SNE optimization for the web](https://arxiv.org/pdf/1805.10817.pdf) 6. [How to use t-SNE effectively](https://distill.pub/2016/misread-tsne/) 7. [Introduction to t-SNE with Python](https://towardsdatascience.com/an-introduction-to-t-sne-with-python-example-5a3a293108d1) 8. [t-SNE implementado em R e Python](https://www.analyticsvidhya.com/blog/2017/01/t-sne-implementation-r-python/) 9. [Visualizing datasets with PCA and t-SNE in Python](https://medium.com/@luckylwk/visualising-high-dimensional-datasets-using-pca-and-t-sne-in-python-8ef87e7915b) 10. [t-SNE Guide with Python and R](https://www.analyticsvidhya.com/blog/2017/01/t-sne-implementation-r-python/) 11. [Real time t-SNE Visualizations with TensorFlow.js](https://ai.googleblog.com/2018/06/realtime-tsne-visualizations-with.html) 12. [Implementação do t-SNE em JavaScript - Karpathy](https://github.com/karpathy/tsnejs) 13. [O porque de momentum realmente funcionar](https://distill.pub/2017/momentum/) 14. [GoogleBlog: TensorFlow Embedding Projector](https://ai.googleblog.com/2016/12/open-sourcing-embedding-projector-tool.html) 15. [TensorFlow Embedding Projector](http://projector.tensorflow.org/) 16. [Tensorflow: Embeddings](https://www.tensorflow.org/guide/embedding) 17. [Tensorflow.js](https://js.tensorflow.org/) 18. [Student's *t*-distribution](https://en.wikipedia.org/wiki/Student%27s_t-distribution) 19. [Função Gamma](https://github.com/substack/gamma.js/blob/master/index.js) 20. [Divergência de Kullback-Leibler](https://en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence) 21. [Mike Bostock - Let's try t-SNE](https://beta.observablehq.com/@mbostock/lets-try-t-sne) 22. [Yasser S. Abu-Mostafa - Caltech](https://work.caltech.edu/) 23. [Repositório github](https://github.com/RobStelling/tsne)`39:[] 2d:{"id":"2331ea7cae3cdc98","slug":"t-sne","title":"Abrindo a caixa preta do t-SNE","thumbnail":"4e6ca27f96b4125210273eb360dd0cd06a873b46c96d4ff25ca508ce2e984f2e","access_level":"public","create_time":"$D2018-11-14T00:29:34.938Z","update_time":"$D2019-01-30T19:34:07.444Z","view_time":null,"first_public_time":"$D2018-12-17T23:11:20.582Z","has_unpublished_edits":null,"fork":false,"stars":2,"starred":false,"owner":{"type":"team","id":"aa1870a7aeb4caa2","login":"robstelling","name":"Roberto Stelling","avatar_url":"https://avatars-next.observableusercontent.com/6229413ee5337674416dd44206b49ea53512f6fd7d1275a839bb8250335ed81e","tier":"starter_2024"},"version":7192,"publish_version":7192,"role":null,"authored":false,"authors":[{"type":"individual","id":"8dbfddb7a124d503","login":"robstelling","name":"Roberto Stelling","avatar_url":"https://avatars-next.observableusercontent.com/6229413ee5337674416dd44206b49ea53512f6fd7d1275a839bb8250335ed81e","tier":null}],"members":[{"type":"individual","id":"8dbfddb7a124d503","login":"robstelling","name":"Roberto Stelling","avatar_url":"https://avatars-next.observableusercontent.com/6229413ee5337674416dd44206b49ea53512f6fd7d1275a839bb8250335ed81e","tier":null,"role":"editor"}],"comments":[],"custom_thumbnail":false,"trashed":false,"lapsed":null,"subscribed":null,"forks":3,"collection":null,"type":"notebook","body":{"titling":"auto","title":"Abrindo a caixa preta do t-SNE","cells":[{"id":6651,"value":"md`# Abrindo a caixa preta do t-SNE\nVisão detalhada do *t*-SNE, implementação do algoritmo, animação e análise de resultados com um exemplo simplificado.`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":6648,"value":"html`

`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":6644,"value":"md `# Tópicos\nO que veremos nesse notebook?
\n\\`Nota\\`: Clique nos links para ir diretamente à seção desejada\n- Uma breve discussão do problema de visualização de dados de altas dimensões\n- Descrição do algoritmo do *t*-SNE como proposto no paper original²\n- Descrição detalhada do algoritmo do *t*-SNE, que foi usada para implementar o código deste notebook\n- O algoritmo do *t*-SNE, em pequenos passos\n- Um *playground* do *t*-SNE, onde você pode:\n - Ajustar os hiperparâmetros do algoritmo\n - Testar o algoritmo em um problema simplificado\n - Ver uma animação do algoritmo enquanto este está sendo executado`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":43,"value":"$2f","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":232,"value":"md `# Por que não há uma solução ótima?\nAntes de seguir adiante, é importante entender por quê não há uma solução ótima para este problema. Para mostrar a impossibilidade de encontrar uma solução única e ótima veremos algumas alternativas de redução de 2 dimensões para 1 dimensão, em datasets criados manualmente.\n\nComo podemos reduzir dados de duas (*x* e *y*) dimensões para uma dimensão (*x*)? Vejamos algumas alternativas (desde ingênuas a outras mais complexas):\n\n1. Considerar apenas o eixo x\n2. Considerar apenas o eixo y\n3. Considerar a distância euclideana entre os pontos\n3. Reduzir a dimensionalidade dos pontos, com algoritmos como SVG ou PCA`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":402,"value":"md `# Exemplos simples\n### Passando de 2D para 1D\nVamos utilizar como exemplos dados projetados de 2 dimensões para 1 dimensão, para desenvolver a intuição sobre as dificuldades da visualização de dados em altas dimensões, projetando os dados em cada um dos eixos: *x* e *y*, e supor qual seria a projeção *\"ideal\"* para estes dados`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":304,"value":"grafico_simples = vegalite({\n width: Math.min(400, width),\n height: 400,\n data: pontos,\n mark: {type: \"circle\", size: tamanhoCirculo, opacity: opacity},\n encoding: {\n x: {field: \"x\", type: \"quantitative\"},\n y: {field: \"y\", type: \"quantitative\"},\n color: {field: \"Cluster\", type: \"nominal\", scale:{scheme: colorScheme}},\n }\n})\n","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":394,"value":"md`# Projetando os pontos no eixo X`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":357,"value":"vegalite({\n width: Math.min(400, width),\n data: pontos,\n mark: {type: \"circle\", size: tamanhoCirculo, opacity: opacity},\n encoding: {\n x: {field: \"x\", type: \"quantitative\"},\n color: {field: \"Cluster\", type: \"nominal\", scale: {scheme: colorScheme}}\n }\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":434,"value":"md `Os clusters *c* e *d* ficam razoavelmente separados, mas *a* e *b* se misturam.`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":396,"value":"md `# Projetando os pontos no eixo Y`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":964,"value":"md `e transladando para a horizontal`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":364,"value":"vegalite({\n width: Math.min(400, width),\n data: pontos,\n mark: {type: \"circle\", size: tamanhoCirculo, opacity: opacity},\n encoding: {\n x: {field: \"y\", type: \"quantitative\"},\n color: {field: \"Cluster\", type: \"nominal\", scale: {scheme: colorScheme}}\n }\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":436,"value":"md `Ao projetar sobre o eixo **y**, os clusters *a* e *d*, e os clusters *b* e *c* se misturam`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":450,"value":"md `# Projeção *\"ideal\"*\nEm um *\"mundo ideal\"* teríamos a redução de duas dimensões deste conjunto de pontos, para uma dimensão, projetados como algo similar ao exemplo abaixo, onde cada cluster original em 2D é \"bem representado\" na projeção em 1D:`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":448,"value":"vegalite({\n width: Math.min(400, width),\n data: idealLinear,\n mark: {type: \"circle\", size: tamanhoCirculo, opacity: opacity},\n encoding: {\n x: {field: \"x\", type: \"quantitative\"},\n color: {field: \"Cluster\", type: \"nominal\", scale: {scheme: colorScheme}}\n }\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":559,"value":"md `# Dataset tipo meia lua`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":561,"value":"vegalite({\n width: Math.min(500, width),\n height : 250,\n data: {values: meiaLua},\n mark: {type: \"circle\", size: tamanhoCirculo, opacity: opacity},\n encoding: {\n x: {field: \"x\", type: \"quantitative\"},\n y: {field: \"y\", type: \"quantitative\"},\n color: {field: \"label\", type: \"nominal\", scale: {scheme: colorScheme}, title:\"Cluster\"},\n }\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":640,"value":"md `## Projetando sobre o eixo *x*`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":566,"value":"vegalite({\n width: Math.min(500, width),\n data: {values: meiaLua},\n mark: {type: \"circle\", size: tamanhoCirculo, opacity: opacity},\n encoding: {\n x: {field: \"x\", type: \"quantitative\"},\n color: {field: \"label\", type: \"nominal\", scale: {scheme: colorScheme}, title: \"Cluster\"},\n }\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":641,"value":"md `## Projetando sobre o eixo *y*`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":569,"value":"vegalite({\n width: Math.min(500, width),\n data: {values: meiaLua},\n mark: {type: \"circle\", size: tamanhoCirculo, opacity: opacity},\n encoding: {\n x: {field: \"y\", type: \"quantitative\"},\n color: {field: \"label\", type: \"nominal\", scale: {scheme: colorScheme}, title: \"Cluster\"},\n }\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":584,"value":"cluster_falso = meiaLua.map(p => {return {x:(p.x+p.label)*(p.label+1.7), label:p.label}})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":636,"value":"md `## Projeção *\"ideal\"*`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":619,"value":"vegalite({\n width: Math.min(500, width),\n data: {values: cluster_falso},\n mark: {type: \"circle\", size: tamanhoCirculo, opacity: opacity},\n encoding: {\n x: {field: \"x\", type: \"quantitative\"},\n color: {field: \"label\", type: \"nominal\", scale: {scheme: colorScheme}, title: \"Cluster\"},\n }\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":582,"value":"md `## Círculos\nAlgoritmo *divino*: Como este dataset poderia ser projetado em 1D?`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":577,"value":"vegalite({\n width: Math.min(500, width),\n height : 500,\n data: {values: circulos},\n mark: {type: \"circle\", size: tamanhoCirculo, opacity: opacity},\n encoding: {\n x: {field: \"x\", type: \"quantitative\"},\n y: {field: \"y\", type: \"quantitative\"},\n color: {field: \"label\", type: \"nominal\", scale: {\"scheme\": colorScheme}, title: \"Cluster\"},\n }\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":4795,"value":"md`### Projetando os pontos radialmente!\nEssa ideia ocorre, e funciona, porque sabemos o formato dos dados originais, mas como saber qual transformação utilizar para dados desconhecidos com 10, 100 ou 1000 dimensões?`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":3944,"value":"circulos","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":3883,"value":"circulosMap = {\n var circ = circulos.map((p) => ({x:L2D(p, {x:0, y:0}), label:p.label}));\n return circ.map((p) => ({x: p.x-circ.reduce((soma, ponto) => soma + ponto.x,0)/circulos.length,label:p.label}));\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":3873,"value":"vegalite({\n width: Math.min(500, width),\n data: {values: circulosMap},\n mark: {type: \"circle\", size: tamanhoCirculo, opacity: opacity},\n encoding: {\n x: {field: \"x\", type: \"quantitative\"},\n color: {field: \"label\", type: \"nominal\", scale: {scheme: colorScheme}, title: \"Cluster\"},\n }\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":545,"value":"md `# Nem sempre é possível projetar os dados separando clusters`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":1169,"value":"md `### Por exemplo consumo, potência e país de origem no dataset [*carros*](https://vega.github.io/vega-lite/data/cars.json)\nSe os dados não forem separáveis na dimensão superior, não será possível separá-los em uma dimensão inferior. Isso leva à ideia de dimensionalidade intrínseca, que é o mínimo de dimensões necessárias para representar fielmente os dados.`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":499,"value":"vegalite({\n width: Math.min(400, width),\n height : 400,\n data: {values: carros},\n mark: {type: \"circle\", size: tamanhoCirculo, opacity: opacity},\n encoding: {\n x: {field: \"Horsepower\", type: \"quantitative\", title: \"Potência (Cavalo-Vapor)\"},\n y: {field: \"Miles_per_Gallon\", type: \"quantitative\", title: \"Consumo em Milhas/galão\"},\n color: {field: \"Origin\", type: \"nominal\", scale: {scheme: colorScheme}, title: \"Origem\"}\n }\n})\n","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":0,"value":"$30","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":4800,"value":"md`${chart}t-SNE sobre dígitos do MNIST (Bostock²¹)`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":4805,"value":"md `## Breve recordação de distribuições Normal e *t* de Student¹⁸`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":1393,"value":"md `### Alterando parâmetros da curva de densidade de uma distribuição normal`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":1155,"value":"vegalite({\n width: Math.min(600, width),\n height: 300,\n layer: [\n {\n title: \"Curva de densidade de uma distribuição normal\",\n data: {values: pontosNormal(-6, +6, 0.01, 1, 0)},\n mark: \"line\",\n encoding: {\n x: {field: \"x\", type: \"quantitative\"},\n y: {field: \"y\", type: \"quantitative\", title: \"φ(x)\"},\n color: {value:\"steelblue\"}\n }\n },\n {\n data: {values: pontosNormal(-6, 6, 0.01, Math.sqrt(var_2), media)},\n mark: {type: \"line\"},\n encoding: {\n x: {field: \"x\", type: \"quantitative\"},\n y: {field: \"y\", type: \"quantitative\"},\n color: {value: \"red\"}\n }\n }\n ]\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":1243,"value":"viewof var_2 = slider({\n min: 0.01, \n max: 16, \n step: 0.01,\n value: 1,\n description: \"Variância de [0 a 16]\"\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":1255,"value":"viewof media = slider({\n min: -2, \n max: 2, \n step: 0.01,\n value: 0.0,\n description: \"Média [-2 a 2]\"\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":4812,"value":"md `Altere a variância e a média da curva normal acima.\nSuponha que a curva vermelha represente a altura da população adulta (a curva em azul é mantida como referência), se você alterar a média de altura para 1.69m, por exemplo, e mantiver a variância em 1, veremos que o gráfico indica que deve ser possível encontrar indivíduos de 4m ou mais! Para que o modelo esteja mais próximo da realidade é necessário *diminuir* a variância para cerca de 0.3.`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":713,"value":"md `### Comparando distribuições normal e *t* de Student`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":892,"value":"vegalite({\n width: Math.min(600, width),\n height: 300,\n layer: [\n {\n title: \"Normal (vermelho) e Studend-t (azul)\",\n data: {values: pontosStudent(-intervalo, intervalo, 0.01, 1, 1)},\n mark: {type: \"line\"},\n encoding: {\n x: {field: \"x\", type: \"quantitative\"},\n y: {field: \"y\", type: \"quantitative\", title:\"φ(x)\"}\n }\n },\n {\n data: {values: pontosNormal(-intervalo, intervalo, 0.01, Math.sqrt(var2), 0)},\n mark: {type: \"line\"},\n encoding: {\n x: {field: \"x\", type: \"quantitative\"},\n y: {field: \"y\", type: \"quantitative\"},\n color: {value: \"red\"}\n }\n }\n ]\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":1324,"value":"viewof var2 = slider({\n min: 0.01,\n max: 9,\n value: 1,\n step: 0.01,\n description: \"Ajuste da variância da curva normal\"\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":2257,"value":"viewof intervalo = slider({\n min: 1,\n max: 100,\n value: 6,\n step: 1,\n description: \"Intervalo\"\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":4810,"value":"md`Uma curva de distribuição *t* de Student é \"*mais baixa*\" e com \"*cauda mais longa*\" que uma curva normal com a mesma variância. Altere a variância da curva normal e veja como ela se comporta.`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":3967,"value":"md`### Graus de liberdade e variância em normais e *t* de Student`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":801,"value":"vegalite({\n width: Math.min(600, width),\n height: 300,\n data: {values: pontosCurvasNS(-intervalo, intervalo, 0.01, Math.sqrt(variancia), 0, gl)},\n mark: \"line\",\n encoding: {\n title: \"Curvas normal e t-Student\",\n x: {field: \"x\", type: \"quantitative\"},\n y: {field: \"y\", type: \"quantitative\", title: \"φ(x)\"},\n color: {field: \"Curva\", type:\"nominal\", scale: {scheme: colorScheme}, title: \"Distribuição\"}\n }\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":1540,"value":"viewof gl = slider({\n min: 1,\n max: 100,\n value: 1,\n step: 1,\n description: \"Graus de liberdade\"\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":2233,"value":"viewof variancia = slider({\n min: 0.1,\n max: 9,\n value: 1,\n step: 0.1,\n description: \"Variância\"\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":4808,"value":"md`Uma curva *t* de Student é, na verdade, uma \"*combinação*\" de infinitas curvas normais. Com um grau de liberdade ela é \"*mais baixa*\" e possui \"*cauda mais longa*\" que a curva normal de mesma variância. Aumentando os graus de liberdade a curva *t* de Student converge para a curva normal correspondente, como pode ser observado alterando os parâmetros do gráfico acima.`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":4816,"value":"md`## Voltando ao *t*-SNE\nPrimeiro vamos revisar o algoritmo do *t*-SNE como descrito no paper original².`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":1741,"value":"$31","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":1802,"value":"md `## Equações\n[\\`Equação 1\\`] Similaridade no espaço em alta dimensão
\n${tex.block`${eq1}`}\n
[\\`Equação 2\\`] Função de custo de divergência de Kullback-Leibler
\n${tex.block`${eq2}`}\nque é equivalente a:
\n${tex.block`${eq6}`}\n
[\\`Equação 3\\`] Similaridade no espaço reduzido
\n${tex.block`${eq3}`}\n
[\\`Equação 4\\`] Ajuste da similaridade no espaço reduzido com distribuição *t* de Student com 1 grau de liberdade (distribuição da *Cauchy*)
\n${tex.block`${eq4}`}\n
[\\`Equação 5\\`] Gradiente da divergência de Kullback-Leibler [*Equação 2*] entre *P* e a probabilidade condicional *Q* com distribuição *t* de Student
\n${tex.block`${eq5}`}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":976,"value":"$32","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":1144,"value":"tsnePassoAPasso = md `# *t*-SNE
Passo a passo`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":940,"value":"md `## Mapeando distâncias para probabilidades\nVamos começar com um dos conjuntos de pontos que vimos na introdução.`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":943,"value":"vegalite(original)","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":2875,"value":"md`A ideia, para transformarmos distâncias em probabilidades, é que podemos imaginar cada ponto como o centro de uma distribuição (que pode ser normal/gaussiana ou qualquer outra) e usar a distância entre este ponto e os outros como a probabilidade de ocorrência daquela distância dentro da distribuição escolhida. Quanto menor a distância entre os pontos, maior a probabilidade. *De uma certa forma, estamos determinando a vizinhança entre os pontos*.\n\nPor exemplo, nos pontos acima, a distância entre ${tex`p_0`} e ${tex`p_1`} é dado pela matriz de distâncias, na posição \\`distancias[0][1]\\` e é igual a ${tex`${distancias[0][1]}`}. Em uma distribuição normal, com média ${tex`0`} e variância ${tex`1`}, esta distância corresponderia a ${tex.block`distancias[0][1] = ${distancias[0][1]}\\rightarrow P_{01} = ${normal(distancias[0][1], 1,0)}`}\nAbaixo vemos as distâncias e probabilidades para alguns pontos usando uma distribuição normal com ${tex`\\mu = 0`} e ${tex`\\sigma^2 = 1`}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":2660,"value":"$33","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":2684,"value":"md `\n\\`distancias[0][1] = \\` ${distancias[0][1]} - ${tex`P_{01} = P(${distancias[0][1]})`} = ${normal(distancias[0][1], 1,0)}
\n\\`distancias[0][2] = \\` ${distancias[0][2]} - ${tex`P_{02} = P(${distancias[0][2]})`} = ${normal(distancias[0][2], 1,0)}
\n\\`distancias[0][3] = \\` ${distancias[0][3]} - ${tex`P_{03} = P(${distancias[0][3]})`} = ${normal(distancias[0][3], 1,0)}
\n\\`distancias[0][4] = \\` ${distancias[0][4]} - ${tex`P_{04} = P(${distancias[0][4]})`} = ${normal(distancias[0][4], 1,0)}
\n\\`distancias[0][5] = \\` ${distancias[0][5]} - ${tex`P_{05} = P(${distancias[0][5]})`} = ${normal(distancias[0][5], 1,0)}
\n\\`distancias[5][0] = \\` ${distancias[5][0]} - ${tex`P_{50} = P(${distancias[5][0]})`} = ${normal(distancias[5][0], 1.2,0)}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":2901,"value":"md`Os mesmos pontos do exemplo anterior são mostrados abaixo para uma distribuição *t* de Student com ${tex`\\mu = 0`}, ${tex`\\sigma^2 = 1`} e um grau de liberdade.`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":2093,"value":"$34","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":1028,"value":"md `\n\\`distancias[0][1] = \\` ${distancias[0][1]} - ${tex`P_{01} = P(${distancias[0][1]})`} = ${student(distancias[0][1], 1)}
\n\\`distancias[0][2] = \\` ${distancias[0][2]} - ${tex`P_{02} = P(${distancias[0][2]})`} = ${student(distancias[0][2], 1)}
\n\\`distancias[0][3] = \\` ${distancias[0][3]} - ${tex`P_{03} = P(${distancias[0][3]})`} = ${student(distancias[0][3], 1)}
\n\\`distancias[0][4] = \\` ${distancias[0][4]} - ${tex`P_{04} = P(${distancias[0][4]})`} = ${student(distancias[0][4], 1)}
\n\\`distancias[0][5] = \\` ${distancias[0][5]} - ${tex`P_{05} = P(${distancias[0][5]})`} = ${student(distancias[0][5], 1)}
\n\\`distancias[5][0] = \\` ${distancias[5][0]} - ${tex`P_{50} = P(${distancias[5][0]})`} = ${student(distancias[5][0], 1.2)}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":2751,"value":"md`## Matriz de distâncias`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":6773,"value":"vegalite(original)","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":1086,"value":"pt(math.matrix(math.reshape(dFlat.map(y => y<=zero?0.0:+y.toFixed(3)), [16,16])), \"\\\\footnotesize\")","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":4786,"value":"viewof cDistancia = radio({\n title: 'Métrica de distância',\n description: 'Escolha a métrica de distância a usar',\n options: [\n { label: nomeMetrica(0), value: 0 },\n { label: nomeMetrica(1), value: 1 },\n { label: nomeMetrica(2), value: 2},\n { label: nomeMetrica(3), value: 3}\n ],\n value: 1\n\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":4958,"value":"md`A distância ${nomeMetricaTex(cDistancia)} entre os pontos ${math.matrix(pts[0])} e ${math.matrix(pts[1])} é ${calcDistancia(pts[0], pts[1])}.
A distância ${nomeMetricaTex(cDistancia)} entre os pontos ${math.matrix(pts[2])} e ${math.matrix(pts[3])} é ${calcDistancia([pts[2]],[pts[3]])}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":4960,"value":"pts = [[0, 0], [-4, 3], [-1.3], [3.5]]","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":1985,"value":"md`A distância euclidiana ou L2 entre os pontos é calculada para todo par de pontos e a probabilidade que um ponto *x_j* esteja próximo de um ponto *x_i*, *p_j|i*, é dada pela equação abaixo, sobre uma distribuição Gaussiana com variância distinta para cada um dos pontos no espaço.\n${tex.block`${eq1}`}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":1149,"value":"md `O denominador age como uma *\"normalização\"* das probabilidades, em função da densidade ao redor do ponto x_i. Assim distâncias ligeiramente maiores ao redor de pontos em locais poucos densos, são equivalentes a distâncias menores ao redor de pontos em locais mais densos. O valor de cada variância é determinado por uma busca binária utilizando o ${tex`\\log_2`} do hiperparâmetro *perplexidade* (\\`Perp\\`) determinado pelo usuário.`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":2946,"value":"md`## De distâncias para probabilidades, com distribuições e variância`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":2944,"value":"vegalite(original)","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":4686,"value":"md`### Matriz de probabilidades, com distância ${nomeMetricaTex(cDistancia)}, e mesma variância entre todos os pontos.`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":2714,"value":"pt(math.matrix(math.reshape(pFlat.map(x => +x.toFixed(3)), [16,16])))","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":2769,"value":"viewof s2 = slider({\n title: 'Variância',\n min: 0.1,\n max: 9,\n step: 0.1,\n value: 1,\n description: \"Altere a variância para todos os pontos\"\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":2468,"value":"md`# Perplexidade\nA perplexidade (${tex`Perp`}) é um hiper-parâmetro que ajusta a variância das distribuições escolhidas para cada ponto do espaço original (${tex`P`}). Como falamos antes, podemos entender a perplexidade como um fator de ajuste das diversas variâncias dos pontos no espaço original e, ao mesmo tempo, uma medida da densidade ao redor dos pontos, por isso cada ponto tem uma variância própria. No espaço projetado, (${tex`Q`}), todos os pontos possuem a mesma variância, portanto as similaridade entre dois pontos i e j, no espaço projetado, é calculada, pela \\`[Equação 3]\\`, como: ${tex.block`${eq3}`}\n`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":2475,"value":"md`A perplexidade é uma medida relacionada à dispersão ao redor dos pontos, ou sua entropia. A intuição é que a perplexidade indicaria o número real de vizinhos de um ponto e seu logarítmo corresponde à medida de entropia. Então, definimos perplexidade de cada ponto como:\n${tex.block`\\log_2(Perp(p_i)) = entropia(p_i) = \\sum_{j\\ne i} -p_{j|i} \\log_2(p_{j|i})`}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":2624,"value":"md`#### Entropia\nA entropia desejada é definida pela perplexidade [\\`Perp\\` = ${Perp_display}]: ${tex.block`entropia = \\log_2(Perp) = ${+Math.log2(Perp_display).toFixed(4)}`}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":3505,"value":"md``","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":2580,"value":"function calcEntropia(probabilidades){\n // Calcula a entropia de um vetor de probabilidades\n return probabilidades.reduce((soma, p) => soma - (p<=zero?0:p*Math.log2(p)), 0)\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":2790,"value":"md `No nosso exemplo, com todas as variâncias iguais a ${+(s2).toFixed(3)}, temos a ${tex`entropia = ${+(calcEntropia(pFlat)/16).toFixed(4)}`} e ${tex`perplexidade = ${Math.exp(calcEntropia(pFlat)/16).toFixed(4)}`}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":2967,"value":"md`Para encontrar a melhor variância para cada ponto fazemos uma busca binária, ponto a ponto, procurando por um valor de variância que leve a entropia do dataset o mais perto possível da entropia desejada, em função do parâmetro \\`Perp\\`.\n\n`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":2993,"value":"md`## Busca binária de variâncias em alta dimensão`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":3167,"value":"function bbVar(pontos, i, entropia, erro=1e-6, passos=40) {\n function bbVarRec(variancia, limiteInf, limiteSup) {\n const probabilidades = calcPi(pontos, i, variancia),\n entropiaAtual = calcEntropia(probabilidades);\n \n if (passos-- <= 1 || Math.abs(entropiaAtual - entropia) <= erro)\n return probabilidades;\n if (entropiaAtual > entropia)\n return bbVarRec((limiteInf+variancia)/2, limiteInf, variancia);\n else\n return bbVarRec((variancia+limiteSup)/2, variancia, limiteSup);\n }\n\n const MINVAR = 0.01,\n MAXVAR = 50;\n return bbVarRec((MINVAR+MAXVAR)/2, MINVAR, MAXVAR);\n}","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":3509,"value":"function ajustaVariancias(pontos, entropia, erro, passos) {\n let tamanho = pontos.length,\n p = [];\n for (let i = 0; i < tamanho; i++)\n p = p.concat(bbVar(pontos, i, entropia, erro, passos))\n var total = p.reduce((soma, atual)=>soma+atual,0)\n return p.map((x)=>x/total);\n}","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":3103,"value":"pt(math.matrix(math.reshape(pVarianciasDisplay.map(x => +x.toFixed(3)), [16,16])))","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":6374,"value":"viewof Perp_display = slider({\n title: 'Perplexidade',\n min: 1,\n max: 100,\n step: 0.5,\n value: 10,\n description: \"Ajuste o valor do hiperparâmetro perplexidade\"\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":3109,"value":"md`Entropia resultante = ${calcEntropia(pVarianciasDisplay)}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":2999,"value":"md`${tex`entropia = \\log_2(Perp) = ${Math.log2(Perp_display)}`}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":3139,"value":"md`# Tornando a matriz de probabilidades simétrica\nPara tornar a matriz simétrica, ou seja com ${tex`P_{i|j} = P_{j|i}`}, calculamos: ${tex.block`p_{ij} = \\frac{p_{j|i}+p_{i|j}}{2}`}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":6370,"value":"p_final_display = {\n var tamanho = pVarianciasDisplay.length;\n var tamanho_linha = Math.sqrt(tamanho);\n var m_a = new Array(pVariancias.length),\n probMedia;\n for (let i=0; i +x.toFixed(3)), [16,16])))","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":3158,"value":"md`# Mapeando os pontos para baixa dimensão\nNesse ponto, terminamos de tratar os dados em alta dimensão e já temos a matriz de probabilidades com as características desejadas. Agora é necessário aproximar os pontos em baixa dimensão, definir uma função de custo para a aproximação e encontrar o melhor conjunto de pontos utilizando gradiente descendente.\nA geração inicial dos pontos é randômica, com o número de dimensões desejado. No nosso caso vamos gerar ${Math.sqrt(dFlat.length)} pontos em ${tex`\\mathbb{R}^${dimensoes}`}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":5253,"value":"md`## Projeção inicial dos pontos do ${tex`\\mathbb{R}^2`} para ${tex`\\mathbb{R}^${dimensoes}`}\nDepois de gerar as probabilidades em alta dimensão, gera-se, randomicamente, os pontos em baixa dimensão, no espaço mapeado, no nosso caso: ${tex`\\mathbb{R}^2 \\rightarrow \\mathbb{R}^${dimensoes}`}. Os autores recomendam que os pontos gerados inicialmente estejam distribuidos com ${tex `\\mu = 0`} e ${tex`\\sigma^2 = 10^{-4}`}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":3351,"value":"vegalite(original)","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":5244,"value":"viewof dimensoes = radio({\n title: 'Dimensões do mapa',\n description: 'Escolha em quantas dimensões projetar os pontos',\n options: [\n {label:'Uma', value:1},\n {label:'Duas', value:2}\n ],\n value: 1\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":4531,"value":"md`### Projeção inicial no ${tex`\\mathbb{R}^${dimensoes}`}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":3311,"value":"vegalite([fr1(yDisplay),fr2(yDisplay)][dimensoes-1])","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":4138,"value":"viewof tipo_projecao = radio({\n title: 'Projeção inicial',\n description: 'Escolha a forma de projetar os pontos',\n options: [\n {label:'Randômico', value:'randomico'},\n {label:'Comprimido', value:'comprimido'},\n {label:'\"Ideal\"', value:'ideal'}\n ],\n value: 'randomico'\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":3497,"value":"md`### Cálculo das distâncias entre pontos gerados com métrica ${nomeMetricaTex(cDistancia)}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":3377,"value":"pt(math.matrix(math.reshape(distQ.map(y=>y<=zero?0:+y.toFixed(digitos)), [16,16])), \"\\\\scriptsize\")","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":5102,"value":"distQ = vetorDistancias(yFlat);","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":3500,"value":"md`## E cálculo das probabilidades\nAs probabilidades em baixa dimensão são calculadas sobre uma distribuição *t* de Student, com 1 grau de liberdade e variância 1.`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":5148,"value":"tex.block`${eq3}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":3407,"value":"pt(math.matrix(math.reshape(calcQ(yFlat).map(x => +x.toFixed(4)), [16,16])), '\\\\footnotesize')","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":3584,"value":"md`# Função de custo\nA função de custo deve mensurar o erro, ou divergência, entre as probabilidades no espaço em altas dimensões e as probabilidades no espaço mapeado. Para comparar as entropias relativas entre as probabilidades é utilizada a **Divergência de Kullback-Leibler** (KL). Quanto maior o valor da divergência KL, maior a diferença entre as distribuições de probabilidade. Se a divergência for 0, as duas distribuições são idênticas.`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":1587,"value":"md `## Divergência de Kullback-Leibler\nA divergência de Kullback-Leibler é dada pela \\`[Equação 2]\\` ${tex.block`${eq2}`}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":3597,"value":"md`No nosso exemplo, a custo inicial das distribuições ${tex`P`} e ${tex`Q`} é: ${tex`${KLD(pFinal, calcQ(yFlat)).toFixed(5)}`}`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":3613,"value":"function KLD(prob1, prob2) {\n return prob1.reduce((soma, valor, indice) => soma + (valor==0?0:KL(valor, prob2[indice])))\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":2196,"value":"function KL(p, q){\n return p == 0 ? 0 : q == 0 ? Infinity : p * Math.log(p/q)\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","output":"$undefined","database":"$undefined"},{"id":5161,"value":"function custo(y, P) {\n // Custo entre pontos e uma distribuição\n // Entradas:\n // y: pontos no espaço mapeado\n // P: distribuição no espaço em altas dimensões\n var Q = calcQ(y);\n const N = y.length;\n var somaCusto = 0;\n for (var i=0; iSelecione o número de iterações e clique em