2d:null 2e:["$","title",null,{"children":"Análisis de datos públicos en Observable con SQL y Plot | Ernesto Laval | Observable"}] 33:[{"id":"552fb253c5d24e54bab5f787fcbf21cef55da94b8b726494f4b49e7c58d3cd40c03d28f26e7c3300d2efc6329009f593abb9b3d860342d13a65b2f35c351ef39","href":"https://static.observableusercontent.com/files/552fb253c5d24e54bab5f787fcbf21cef55da94b8b726494f4b49e7c58d3cd40c03d28f26e7c3300d2efc6329009f593abb9b3d860342d13a65b2f35c351ef39","name":"defunciones.parquet","type":"application/octet-stream","lastModified":1651512988390.535,"size":40412128},{"id":"a264195865a4bfb142d2e9d7ddcbb5dd149e9d2225d8b60605ea6e5cddc17ced9c505ea3416deb6ac5385a6a1be2919a75695857c5e2abc5aaecfae9a6da714a","href":"https://static.observableusercontent.com/files/a264195865a4bfb142d2e9d7ddcbb5dd149e9d2225d8b60605ea6e5cddc17ced9c505ea3416deb6ac5385a6a1be2919a75695857c5e2abc5aaecfae9a6da714a","name":"excessDeathsUSA_TheEconomist.sqlite","type":"application/x-sqlite3","lastModified":1651515363419.997,"size":909312}] 31:{"id":"778e1bc81ee85e15","slug":"analisis-de-datos-publicos-en-observable-con-sql-y-plot","title":"Análisis de datos públicos en Observable con SQL y Plot","thumbnail":"c0ce44230363b58b8ab7be897060fdb00b0465584e741c26f17b3d849bf6746e","access_level":"public","create_time":"$D2022-05-02T17:01:33.782Z","update_time":"$D2024-11-29T00:56:18.538Z","view_time":null,"first_public_time":"$D2022-05-02T19:51:26.464Z","has_unpublished_edits":null,"fork":false,"stars":0,"starred":false,"owner":{"type":"team","id":"0843f5dc42ca68a0","login":"elaval","name":"Ernesto Laval","avatar_url":"https://avatars-next.observableusercontent.com/089f0414fc9025dadb05cc06d7a406bc9be10093187c46729cb4ba3a4098dc30","tier":"starter_2024"},"version":340,"publish_version":340,"role":null,"authored":false,"authors":[{"type":"individual","id":"e04cd7b5f4351ae9","login":"elaval","name":"Ernesto Laval","avatar_url":"https://avatars-next.observableusercontent.com/089f0414fc9025dadb05cc06d7a406bc9be10093187c46729cb4ba3a4098dc30","tier":null}],"members":[{"type":"individual","id":"e04cd7b5f4351ae9","login":"elaval","name":"Ernesto Laval","avatar_url":"https://avatars-next.observableusercontent.com/089f0414fc9025dadb05cc06d7a406bc9be10093187c46729cb4ba3a4098dc30","tier":null,"role":"editor"}],"comments":[],"custom_thumbnail":false,"trashed":false,"lapsed":null,"subscribed":null,"forks":1,"collection":null,"type":"notebook","body":{"titling":"auto","title":"Análisis de datos públicos en Observable con SQL y Plot","cells":[{"id":0,"value":"# Análisis de datos públicos en Observable con SQL y Plot","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"","database":"$undefined"},{"id":22,"value":"Cuándo queremos compartir datos en Internet, muchas veces el esfuerzo se concentra en tareas técnicas (configurar bases de datos, instalar servidores, publicar páginas web) y no en lo que debiera ser más importante: explorar los datos y presentarlos de manera adecuada. Observable es una herramienta que permite disminuir el esfuerzo de tareas computacionales y concentrarse en la información.","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"","database":"$undefined"},{"id":30,"value":"Lo que estás leyendo es un \"notebook\" (cuaderno) de Observable que se compone de una secuencia de celdas o bloques. Cada bloque puede contener distinto tipo de contenido. Por ejemplo:","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"","database":"$undefined"},{"id":42,"value":"### Celda con código Javascript:","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"","database":"$undefined"},{"id":38,"value":"{\n const a = `Tres más siete`;\n const b = 3;\n\n return `${a} es ${b + c}`;\n}","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":294,"value":"*OJO: Las celdas pueden tener nombres y sus contenidos pueden ser utilizados por otras celdas. Por ejemplo:*","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"","database":"$undefined"},{"id":299,"value":"c = 7","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":46,"value":"### Celda con contenido MD:","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"","database":"$undefined"},{"id":47,"value":"## Título\n* Item 1\n* Item 2 **destacado**","pinned":true,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"","database":"$undefined"},{"id":52,"value":"### Celda con contenido HTML:","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"","database":"$undefined"},{"id":66,"value":"\n \n \n \n

Nombre	Edad
Ana	23
Bruno	18

","pinned":true,"hidden":false,"mode":"html","author":"$undefined","summary":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"","database":"$undefined"},{"id":103,"value":"### Celda con contenido Latex:","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"","database":"$undefined"},{"id":83,"value":"\nx_i=\\sqrt[n]{\\frac{a_i}{b_i}}","pinned":true,"hidden":false,"mode":"tex","author":"$undefined","summary":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"","database":"$undefined"},{"id":118,"value":"### Celda con contenido SQL","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"","database":"$undefined"},{"id":126,"value":"Acá me detendré un poco más.\n\nSQL es un lenguaje que permite hacer consultas en Bases de Datos (en particular bases de datos relacionales que se componen de una o más tablas de datos). En Observable es posible adjuntar archivos a los notebooks, y particularmente es posible adjuntar un archivo de tipo \".sqlite\" que contiene la información de una Base de Datos SQLite. Esta es una solución muy práctica para bases de datos \"relativamente\" pequeñas ya que no requiere instalar un **servidor** para manejarla. Toda la operación de la Base de Datos puede ocurrir directamente en el Navegador Web.\n\nPor ejemplo, la siguiente celda (de nombre dbExcessDeaths) se asocia a una base de datos SQLite cuyo archivo hemos adjuntado a este notebook. Esta base de datos tiene datos de muertes en exceso de distintos estados de Estados Unidos usando datos publicados por The Economist (https://github.com/TheEconomist/covid-19-excess-deaths-tracker).","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"","database":"$undefined"},{"id":140,"value":"dbExcessDeaths = FileAttachment(\"excessDeathsUSA_TheEconomist.sqlite\").sqlite()","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":156,"value":"Podemos hacer consultas a la Base de Datos en una celda de tipo SQL:","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"","database":"$undefined"},{"id":163,"value":"SELECT * \nFROM united_states_excess_deaths\nWHERE region = 'California'\nAND start_date >= '2021-01-01'\nAND end_date <= '2021-12-31'","pinned":true,"hidden":false,"mode":"sql","author":"$undefined","summary":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"dataCalifornia","database":"var:dbExcessDeaths"},{"id":178,"value":"Luego, podemos graficar estos datos utilizando la herramienta Plot incorporada en Observable","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"","database":"$undefined"},{"id":182,"value":"Plot.plot({\n marginLeft: 50,\n color: { legend: true },\n marks: [\n Plot.areaY(dataCalifornia, {\n x: (d) => new Date(d[\"start_date\"]),\n y: \"total_deaths\",\n fill: (d) => \"Muertes totales\"\n }),\n Plot.areaY(dataCalifornia, {\n x: (d) => new Date(d[\"start_date\"]),\n y: \"expected_deaths\",\n fill: (d) => \"Muertes esperadas\"\n })\n ]\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":138,"value":"# Datos de fallecidos por causa de muerte en Chile","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"","database":"$undefined"},{"id":9,"value":"A continuación utilizaré como ejemplo una tabla de datos relativamente grande: datos de muertes por causa de muerte en Chile desde 2016 a la fecha (sobre 220Mb).\n\nEstos datos los publica semanalmente el Departamento de Estadísticas e Información en Salud del Ministerio de Salud de Chile en su sitio web de datos abiertos https://deis.minsal.cl/#datosabiertos.\n\nEs un archivo de texto en formato csv que contiene sobre 700 mil registros (un registro por persona fallecida)","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"","database":"$undefined"},{"id":15,"value":"El tamaño del archivo supera el limite de Observable para archivos adjuntos en el notebook (50Mb), pero existen alternativas para comprimir el tamaño del archivo.\n\n**Parquet** (https://parquet.apache.org/) es un formato de datos que permite comprimir el archivo en forma considerable, reduciendo el archivo original de 200Mb a un archivo de 40Mb que se ha adjuntado al este notebook.\n","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"","database":"$undefined"},{"id":197,"value":"Si bien SQLite no trabaja con archivos de tipo \"parquet\", existe un motor de base de datos similar que sí lo hace: DuckDB (https://duckdb.org/).\n\nLa siguiente celda contiene la base de datos dbDefunciones con datos del archivo adjunto \"defunciones.parquet\" *(Datos publicados por el DEIS al 28 de Abril de 2022)*","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"","database":"$undefined"},{"id":202,"value":"dbDefunciones = DuckDBClient.of([FileAttachment(\"defunciones.parquet\")])","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":206,"value":"Con estos datos es posible consultar, por ejemplo, todas las muertes asociadas a \"Enfermedades del sistema circulatorio\" desde 2016 a la fecha","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"","database":"$undefined"},{"id":209,"value":"SELECT * \nFROM defunciones\nWHERE CAPITULO_DIAG1 = 'I00-I99'\nLIMIT 100","pinned":true,"hidden":false,"mode":"sql","author":"$undefined","summary":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"","database":"var:dbDefunciones"},{"id":235,"value":"También podemos consultar el total de muertes diarias por determinada causa en la región Metropolitana de Santiago","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"","database":"$undefined"},{"id":239,"value":"SELECT FECHA_DEF as fecha, count(*)::Int as muertes\nFROM defunciones\nWHERE GLOSA_REG_RES = 'Metropolitana de Santiago'\nAND CAPITULO_DIAG1 = ${causaSeleccionada.CAPITULO_DIAG1}\nGROUP BY FECHA_DEF","pinned":true,"hidden":false,"mode":"sql","author":"$undefined","summary":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"dataMuertesRegion","database":"var:dbDefunciones"},{"id":244,"value":"viewof causaSeleccionada = {\n const opcionesCausas = (\n await dbDefunciones.query(\n `SELECT DISTINCT CAPITULO_DIAG1, GLOSA_CAPITULO_DIAG1 FROM defunciones ORDER BY CAPITULO_DIAG1`\n )\n ).toArray();\n\n return Inputs.select(opcionesCausas, {\n format: (d) => `${d.CAPITULO_DIAG1} - ${d.GLOSA_CAPITULO_DIAG1}`,\n label: \"Causa\",\n value: _.last(opcionesCausas)\n });\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":261,"value":"Y podemos graficar estos datos","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"","database":"$undefined"},{"id":285,"value":"Muertes en Región Metropolitana con causa de muerte **${causaSeleccionada.CAPITULO_DIAG1 == \"U00-U99\" ? `COVID19 (${causaSeleccionada.GLOSA_CAPITULO_DIAG1})`: causaSeleccionada.GLOSA_CAPITULO_DIAG1}**","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"","database":"$undefined"},{"id":265,"value":"Plot.plot({\n marks: [\n Plot.areaY(\n dataMuertesRegion,\n Plot.windowY({\n k: 14,\n x: (d) => new Date(d[\"fecha\"]),\n y: \"muertes\",\n fill: \"grey\"\n })\n )\n ]\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":318,"value":"## TIPS adicionales","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"","database":"$undefined"},{"id":322,"value":"Puede obtener el listado de tablas incluidas en una base de datos con la funcion \"describe()\"","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"","database":"$undefined"},{"id":326,"value":"dbDefunciones.describe()","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":329,"value":"Puede obtener el listado de columnas en una tabla usando la funcion \"describe(tabla)\"","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"","database":"$undefined"},{"id":335,"value":"dbDefunciones.describe(\"defunciones\")","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":6,"value":"import { DuckDBClient } from \"@cmudig/duckdb\"","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"}],"files":"$W33","stdlib":"1"}} 32:"$31:body"