34:["$","title",null,{"children":"Группировка данных. Диаграммы Sunburst и Pack | Ganibaev | Observable"}] 3c:T7df,# Группировка данных. Диаграммы Sunburst и Pack **Данные:** файл **competition.xlsx** * лист «спорт» — результаты 1000 студентов 1996–1999 годов рождения в трёх нормативах: бег 1000 м, бег 30 м, прыжок в длину с места; * лист «страны» — 1000 городов 20 стран с численностью населения (в тысячах человек). Для Sunburst используется листинг каталога, полученный командами `ls -lR` и `dir /s` (файлы **ls_lR.txt** и **dir_s.txt**). **Задачи:** 1. Распределение времени на 30 м у мужчин и женщин с нормировкой на размер группы (binX + facet) — и поиск аномалии в данных. 2. Связаны ли дисциплины между собой: медиана и межквартильный размах прыжка по интервалам бега на 30 м (binX с редьюсерами median, p25, p75). 3. «Лучший универсал»: перцентили внутри пола, сводный балл, доля каждого года рождения в топ-10% с поправкой на размер группы (lift). 4. Однофамильцы: группировка по фамилии, приведённой к мужской форме (Иванов = Иванова). 5. «Индекс первенства» стран: какую долю населения городов страны даёт крупнейший город (с предварительной очисткой дубликатов). 6. Sunburst: структура каталога по выводу ls -lR со сверкой с dir /s. 7. Pack: города мира, сгруппированные по частям света и странам.3d:T8c6,function sunburst(root, {width = 720, label = nodeName, value = d => d.value} = {}) { const radius = width / 2; d3.partition().size([2 * Math.PI, radius])(root); const topName = (d) => { const a = d.ancestors().reverse()[1]; return a.children ? nodeName(a) : "файлы в io"; }; const tops = [...new Set(root.descendants().filter(d => d.depth).map(topName))].filter(t => t !== "файлы в io"); const color = d3.scaleOrdinal(tops, d3.schemeTableau10).unknown("#bbb"); const arc = d3.arc() .startAngle(d => d.x0).endAngle(d => d.x1) .padAngle(d => Math.min((d.x1 - d.x0) / 2, 0.004)).padRadius(radius / 2) .innerRadius(d => d.y0).outerRadius(d => d.y1 - 1); const svg = d3.create("svg") .attr("viewBox", [-radius, -radius, width, width]) .attr("width", width).attr("height", width) .attr("style", "max-width: 100%; height: auto; font: 10px sans-serif;"); svg.append("g").selectAll("path") .data(root.descendants().filter(d => d.depth)) .join("path") .attr("d", arc) .attr("fill", d => color(topName(d))) .attr("fill-opacity", d => d.children ? 0.9 : 0.55) .append("title") .text(d => `${d.id.replace(/^\//, "")}\n${sunValue === "размер, байт" ? fmtBytes(d.value) : d.value + " файл(ов)"}`); svg.append("g").attr("pointer-events", "none").attr("text-anchor", "middle") .selectAll("text") .data(root.descendants().filter(d => d.depth && (d.y0 + d.y1) / 2 * (d.x1 - d.x0) > 11)) .join("text") .attr("transform", d => { const x = (d.x0 + d.x1) / 2 * 180 / Math.PI, y = (d.y0 + d.y1) / 2; return `rotate(${x - 90}) translate(${y},0) rotate(${x < 180 ? 0 : 180})`; }) .attr("dy", "0.32em") .attr("font-weight", d => d.children ? "bold" : null) .text(d => { const t = label(d); return t.length > 18 ? t.slice(0, 17) + "…" : t; }); svg.append("text").attr("text-anchor", "middle").attr("dy", "-0.2em").attr("font-size", 16).attr("font-weight", "bold").text(nodeName(root)); svg.append("text").attr("text-anchor", "middle").attr("dy", "1.2em").attr("font-size", 12) .text(sunValue === "размер, байт" ? fmtBytes(root.value) : root.value + " файлов"); return svg.node(); }3e:T887,function packChart(root, {width = 900, padding = 3} = {}) { d3.pack().size([width, width]).padding(padding)(root); const continentOf = (d) => d.depth >= 1 ? nodeName(d.ancestors().reverse()[1]) : null; const color = d3.scaleOrdinal(["Европа", "Азия", "Африка", "Океания"], ["#4e79a7", "#e15759", "#f28e2b", "#59a14f"]); const fmt = d3.format(",.0f"); const svg = d3.create("svg") .attr("viewBox", [0, 0, width, width]) .attr("width", width).attr("height", width) .attr("style", "max-width: 100%; height: auto; font: 10px sans-serif;"); const node = svg.append("g").selectAll("g") .data(root.descendants()) .join("g").attr("transform", d => `translate(${d.x},${d.y})`); node.append("circle") .attr("r", d => d.r) .attr("fill", d => d.children ? (d.depth === 0 ? "#fafafa" : d3.interpolateGreys(0.08 + d.depth * 0.04)) : color(continentOf(d))) .attr("fill-opacity", d => d.children ? 1 : 0.8) .attr("stroke", d => d.children ? "#bbb" : "white") .attr("stroke-width", d => d.children ? 0.7 : 0.3); node.append("title") .text(d => `${d.ancestors().reverse().slice(1).map(nodeName).join(" → ") || "Мир"}\n${fmt(d.value)} тыс. чел.`); // подписи крупных городов const big = node.filter(d => !d.children && d.r > 16); big.append("text").attr("text-anchor", "middle").attr("dy", "-0.1em") .attr("font-size", d => Math.min(13, d.r / 3.2)).attr("fill", "white").attr("font-weight", "bold") .text(d => nodeName(d)); big.append("text").attr("text-anchor", "middle").attr("dy", "1.1em") .attr("font-size", d => Math.min(11, d.r / 4)).attr("fill", "white") .text(d => fmt(d.value)); // подписи стран (родителей листьев) у верхней кромки круга node.filter(d => d.children && d.children.some(c => !c.children) && d.r > 30) .append("text").attr("text-anchor", "middle") .attr("y", d => -d.r + 12).attr("font-size", 11).attr("font-weight", "bold").attr("fill", "#333") .attr("paint-order", "stroke").attr("stroke", "white").attr("stroke-width", 3) .text(d => nodeName(d)); return svg.node(); }3f:[{"id":"8ea73ccb77df85ae94ff8af9fc5d1ea114c387d384b0007f40574e13f605d3d9ae2d8e413f43a0c37957d84d65c89cac99a8994dd677c75cdae4f645b2278465","href":"https://static.observableusercontent.com/files/8ea73ccb77df85ae94ff8af9fc5d1ea114c387d384b0007f40574e13f605d3d9ae2d8e413f43a0c37957d84d65c89cac99a8994dd677c75cdae4f645b2278465","name":"competition.xlsx","type":"application/vnd.openxmlformats-officedocument.spreadsheetml.sheet","lastModified":1793965444846,"size":98419},{"id":"51c63e6a6004a97d5ef1d039615f69252767af19972859e4fa790030ca8dfe96204d6cab701f183d2918127380d26cb687a2f53f1a295d9070866e0ebc99a4bd","href":"https://static.observableusercontent.com/files/51c63e6a6004a97d5ef1d039615f69252767af19972859e4fa790030ca8dfe96204d6cab701f183d2918127380d26cb687a2f53f1a295d9070866e0ebc99a4bd","name":"ls_lR.txt","type":"text/plain","lastModified":1793965444847,"size":4638},{"id":"7ff2085e1c99d075f3da073a852b5f3ae93da4f7801709f8e0c982bbf86a5328977520ee18dc86743730cd10a3164d5d42319e7e91db4d7a03c5b9e15c8c0b8b","href":"https://static.observableusercontent.com/files/7ff2085e1c99d075f3da073a852b5f3ae93da4f7801709f8e0c982bbf86a5328977520ee18dc86743730cd10a3164d5d42319e7e91db4d7a03c5b9e15c8c0b8b","name":"dir_s.txt","type":"text/plain","lastModified":1793965444847,"size":11500}] 38:{"id":"2b2bd765775388c3","slug":"gruppirovka-dannykh-diagrammy-sunburst-i-pack","title":"Группировка данных. Диаграммы Sunburst и Pack","thumbnail":"8089fca0e25c17665dc7ac30822330cbff5f3f8d17b28300011b850bc8921055","access_level":"public","create_time":"$D2026-11-06T11:44:05.929Z","update_time":"$D2026-11-06T11:45:47.879Z","view_time":null,"first_public_time":"$D2026-11-06T11:51:05.456Z","has_unpublished_edits":null,"fork":false,"stars":0,"starred":false,"owner":{"type":"team","id":"8b6e4eeadbf87882","login":"ganibaev","name":"Ganibaev","avatar_url":null,"tier":"free_2026","bio":"","followed_by_you":false,"follows_you":false},"version":213,"publish_version":213,"role":null,"authored":false,"authors":[{"type":"individual","id":"b585948a6ce4cf02","login":"ganibaev","name":"Ganibaev","avatar_url":null,"tier":null,"bio":"","followed_by_you":false,"follows_you":false}],"members":[{"type":"team","id":"8b6e4eeadbf87882","login":"ganibaev","name":"Ganibaev","avatar_url":null,"tier":"free_2026","role":"editor"}],"comments":[],"custom_thumbnail":false,"trashed":false,"lapsed":null,"subscribed":null,"forks":0,"collection":null,"type":"notebook","body":{"titling":"auto","title":"Группировка данных. Диаграммы Sunburst и Pack","cells":[{"id":1,"value":"$3c","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":2,"value":"## Загрузка и подготовка данных","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":3,"value":"book = FileAttachment(\"competition.xlsx\").xlsx()","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":4,"value":"book.sheetNames","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":5,"value":"sportRaw = book.sheet(\"спорт\", {headers: true})","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":6,"value":"Две ловушки в исходной таблице:\n1. Заголовок «Прыжок в длину с места, см » содержит **пробел в конце**: обращение по имени без пробела вернёт undefined. Поэтому обрезаем пробелы во всех ключах.\n2. Время на 1000 м записано как **«минуты.секунды»**: 3.42 — это 3 мин 42 с (222 с), а не 3,42 минуты. Если считать среднее прямо по таким числам, получится бессмыслица: среднее 3.59 и 4.01 даёт 3.80, то есть «3 мин 80 с». Переводим всё в секунды.","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":7,"value":"mmssToSec = (v) => Math.floor(v) * 60 + Math.round(v * 100) % 100","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":8,"value":"fmtMMSS = (sec) => `${Math.floor(sec / 60)}:${String(Math.round(sec % 60)).padStart(2, \"0\")}`","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":9,"value":"athletes = sportRaw.map(d => {\n const r = Object.fromEntries(Object.entries(d).map(([k, v]) => [k.trim(), v]));\n return {\n surname: String(r[\"Фамилия\"]).trim(),\n name: String(r[\"Имя\"]).trim(),\n sex: r[\"Пол\"] === \"м\" ? \"мужчины\" : \"женщины\",\n year: r[\"Год рождения\"],\n run1000: mmssToSec(r[\"Бег 1000 метров, мин. и сек.\"]), // секунды\n run30: r[\"Бег 30 метров, сек.\"], // секунды\n jump: r[\"Прыжок в длину с места, см\"] // см\n };\n})","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":10,"value":"`Пример: 3.59 и 4.01 → «наивное» среднее ${((3.59 + 4.01) / 2).toFixed(2)}, правильное ${fmtMMSS((mmssToSec(3.59) + mmssToSec(4.01)) / 2)}`","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":11,"value":"Inputs.table(athletes, {\n columns: [\"surname\", \"name\", \"sex\", \"year\", \"run1000\", \"run30\", \"jump\"],\n header: {surname: \"Фамилия\", name: \"Имя\", sex: \"Пол\", year: \"Год рожд.\", run1000: \"1000 м\", run30: \"30 м, с\", jump: \"Прыжок, см\"},\n format: {run1000: fmtMMSS, year: d => String(d)},\n maxHeight: 200\n})","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":12,"value":"sexColors = ({domain: [\"женщины\", \"мужчины\"], range: [\"#d1495b\", \"#00798c\"]})","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":13,"value":"---\n## Задача 1. Распределение времени на 30 м (binX + facet)\n\nЖенщин в выборке ${athletes.filter(d => d.sex === \"женщины\").length}, мужчин — ${athletes.filter(d => d.sex === \"мужчины\").length}. Сравнивать абсолютные высоты столбцов гистограмм нельзя: у большей группы столбцы будут выше просто из-за её размера. Поэтому группируем время по интервалам 0,2 с (**binX**) и считаем **долю внутри своей группы** (редьюсер *proportion-facet*). Пунктир — медиана группы (группировка **groupZ** по всей панели).","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":14,"value":"Plot.plot({\n caption: \"Рис. 1. Распределение времени бега на 30 м: доля спортсменов группы в каждом интервале 0,2 с. Пунктир — медиана.\",\n width: 1000,\n height: 380,\n marginLeft: 60,\n marginRight: 80,\n grid: true,\n x: {label: \"Бег 30 м, с →\"},\n y: {percent: true, label: \"↑ Доля группы, %\"},\n fy: {label: null},\n color: sexColors,\n marks: [\n Plot.rectY(athletes, Plot.binX({y: \"proportion-facet\"}, {x: \"run30\", fy: \"sex\", fill: \"sex\", interval: 0.2, insetLeft: 1})),\n Plot.ruleX(athletes, Plot.groupZ({x: \"median\"}, {x: \"run30\", fy: \"sex\", stroke: \"black\", strokeDasharray: \"4 3\", strokeWidth: 1.5})),\n Plot.text(athletes, Plot.groupZ({x: \"median\", text: \"median\"}, {x: \"run30\", fy: \"sex\", text: \"run30\", frameAnchor: \"top\", dy: 4, dx: 4, textAnchor: \"start\"})),\n Plot.ruleY([0])\n ]\n})","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":15,"value":"tail30 = d3.rollups(athletes, v => ({n: v.length, slow: v.filter(d => d.run30 > 6).length, max: d3.max(v, d => d.run30)}), d => d.sex)","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":16,"value":"tailText = tail30.map(([s, r]) => `${s} — ${r.slow} результатов медленнее 6 с (максимум ${r.max} с)`).join(\"; \")","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":17,"value":"**Вывод.** Мужские результаты распределены почти равномерно в интервале 4–6 с (у реальных спортсменов обычно получается «колокол», так что это признак синтетических данных), а у женщин есть длинный «хвост»: ${tailText}. Результаты мужчин обрезаны ровно на 6 секундах, а женские продолжаются до 7,3 с — по всей видимости, данные генерировались для двух полов с разными границами.","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":18,"value":"---\n## Задача 2. Прыгают ли дальше те, кто быстрее бегает? (binX с редьюсерами median, p25, p75)\n\nОбычно скоростно-силовые качества связаны: быстрый спринтер, как правило, и прыгает дальше. Проверим это: разобьём спортсменов на интервалы по времени на 30 м (шаг 0,25 с) и в каждом интервале посчитаем **медиану** прыжка (линия) и **межквартильный размах** p25–p75 (полоса). Если связь есть, линия должна идти вниз: чем больше время, тем короче прыжок.","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":19,"value":"Plot.plot({\n caption: \"Рис. 2. Прыжок в длину в зависимости от времени на 30 м: медиана (линия) и межквартильный размах (полоса) в интервалах по 0,25 с.\",\n width: 1000,\n height: 380,\n marginLeft: 55,\n grid: true,\n x: {label: \"Бег 30 м, с →\"},\n y: {label: \"↑ Прыжок в длину, см\", domain: [175, 240]},\n color: {...sexColors, legend: true},\n marks: [\n Plot.areaY(athletes, Plot.binX({y1: \"p25\", y2: \"p75\"}, {x: \"run30\", y: \"jump\", fill: \"sex\", fillOpacity: 0.18, interval: 0.25, curve: \"step\"})),\n Plot.lineY(athletes, Plot.binX({y: \"median\"}, {x: \"run30\", y: \"jump\", stroke: \"sex\", interval: 0.25, curve: \"step\", strokeWidth: 2})),\n Plot.dot(athletes, Plot.binX({y: \"median\", r: \"count\"}, {x: \"run30\", y: \"jump\", stroke: \"sex\", fill: \"white\", interval: 0.25})),\n ],\n r: {range: [1, 7]}\n})","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":20,"value":"pearson = (data, fx, fy) => {\n const mx = d3.mean(data, fx), my = d3.mean(data, fy);\n let sxy = 0, sxx = 0, syy = 0;\n for (const d of data) { const dx = fx(d) - mx, dy = fy(d) - my; sxy += dx * dy; sxx += dx * dx; syy += dy * dy; }\n return sxy / Math.sqrt(sxx * syy);\n}","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":21,"value":"correlations = d3.rollups(athletes, v => ({\n \"30 м ↔ прыжок\": pearson(v, d => d.run30, d => d.jump),\n \"30 м ↔ 1000 м\": pearson(v, d => d.run30, d => d.run1000),\n \"1000 м ↔ прыжок\": pearson(v, d => d.run1000, d => d.jump)\n}), d => d.sex).map(([sex, r]) => ({sex, ...r}))","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":22,"value":"Inputs.table(correlations, {format: {\"30 м ↔ прыжок\": d => d.toFixed(3), \"30 м ↔ 1000 м\": d => d.toFixed(3), \"1000 м ↔ прыжок\": d => d.toFixed(3)}, header: {sex: \"Группа\"}, select: false})","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":23,"value":"**Вывод.** Медиана прыжка «плоская» во всех интервалах, коэффициенты корреляции Пирсона близки к нулю (|r| < 0,1). Результаты в дисциплинах **независимы**, чего не бывает у реальных спортсменов. Это ещё один признак того, что данные сгенерированы случайно и независимо по каждому столбцу. Зато видно, что мужчины в среднем прыгают немного дальше (линия выше примерно на 6 см).","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":24,"value":"---\n## Задача 3. Кто лучший универсал: многоборье и lift по годам рождения\n\nРезультаты в дисциплинах измеряются в разных единицах, причём «лучше» — то меньше (бег), то больше (прыжок), а нормы у мужчин и женщин разные. Чтобы честно сложить три норматива, переводим каждый результат в **перцентиль внутри своего пола** (100 — лучший результат в группе, 0 — худший) и усредняем три перцентиля в сводный балл.\n\nЗатем группируем топ-10% по году рождения и полу. Абсолютное число спортсменов в топе ничего не говорит: групп 1998–1999 г. р. среди женщин больше. Поэтому считаем **lift** = (доля группы в топе) / (доля группы во всей выборке). Lift > 1 — группа представлена в топе чаще, чем можно ожидать случайно.","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":25,"value":"allround = {\n const out = athletes.map(d => ({...d}));\n for (const [, group] of d3.group(out, d => d.sex)) {\n const percentile = (key, higherIsBetter) => {\n const sorted = group.map(d => d[key]).sort(d3.ascending);\n const n = sorted.length - 1;\n for (const d of group) {\n const worse = higherIsBetter\n ? d3.bisectLeft(sorted, d[key]) // сколько прыгнули ближе\n : sorted.length - d3.bisectRight(sorted, d[key]); // сколько пробежали медленнее\n d[\"p_\" + key] = 100 * worse / n;\n }\n };\n percentile(\"run30\", false);\n percentile(\"run1000\", false);\n percentile(\"jump\", true);\n }\n for (const d of out) d.score = (d.p_run30 + d.p_run1000 + d.p_jump) / 3;\n return out.sort((a, b) => b.score - a.score);\n}","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":26,"value":"top10 = allround.slice(0, Math.round(allround.length * 0.1))","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":27,"value":"Inputs.table(top10, {\n columns: [\"surname\", \"name\", \"sex\", \"year\", \"run1000\", \"run30\", \"jump\", \"score\"],\n header: {surname: \"Фамилия\", name: \"Имя\", sex: \"Пол\", year: \"Год\", run1000: \"1000 м\", run30: \"30 м\", jump: \"Прыжок\", score: \"Сводный балл\"},\n format: {run1000: fmtMMSS, score: d => d.toFixed(1), year: String},\n rows: 10, select: false\n})","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":28,"value":"liftData = {\n const total = allround.length, topN = top10.length;\n const inTop = d3.rollup(top10, v => v.length, d => d.year, d => d.sex);\n return d3.rollups(allround, v => v.length, d => d.year, d => d.sex)\n .flatMap(([year, bySex]) => bySex.map(([sex, n]) => {\n const k = inTop.get(year)?.get(sex) ?? 0;\n return {year: String(year), sex, n, inTop: k, lift: (k / topN) / (n / total)};\n }));\n}","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":29,"value":"Plot.plot({\n caption: \"Рис. 3. Lift попадания в топ-10% многоборья по году рождения и полу. Линия 1 — ожидаемый уровень при случайном распределении. Подписи: в топе / всего в группе.\",\n width: 1000,\n height: 340,\n marginTop: 30,\n grid: true,\n fx: {label: \"Год рождения\"},\n x: {axis: null},\n y: {label: \"↑ Lift\", domain: [0, 2]},\n color: {...sexColors, legend: true},\n marks: [\n Plot.barY(liftData, {fx: \"year\", x: \"sex\", y: \"lift\", fill: \"sex\"}),\n Plot.text(liftData, {fx: \"year\", x: \"sex\", y: \"lift\", text: d => `${d.inTop}/${d.n}`, dy: -8}),\n Plot.ruleY([1], {stroke: \"black\", strokeDasharray: \"5 3\"}),\n Plot.ruleY([0])\n ]\n})","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":30,"value":"liftText = {\n const hi = d3.greatest(liftData, d => d.lift), lo = d3.least(liftData, d => d.lift);\n return `сильнее всего перепредставлена группа «${hi.sex}, ${hi.year}» (lift ${hi.lift.toFixed(2)}), слабее всего — «${lo.sex}, ${lo.year}» (lift ${lo.lift.toFixed(2)})`;\n}","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":31,"value":"**Вывод.** В топ-10% ${liftText}. При таком размере групп (90–160 человек) расхождения в 1,5–2 раза могут быть случайными: в топ попадает всего ${top10.length} человек, и сдвиг на 3–4 спортсмена заметно меняет lift. Возрастной закономерности (например, «старшие сильнее») не видно, что согласуется с выводами задачи 2.","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":32,"value":"---\n## Задача 4. Однофамильцы: группировка по нормализованной фамилии\n\nИванов и Иванова — одна фамилия в мужской и женской форме. Если группировать по фамилии «как есть», эти люди попадут в разные группы. Приводим фамилию к мужской форме: окончания **-ова, -ева, -ёва, -ина, -ына** теряют «-а», **-ская/-цкая** заменяются на **-ский/-цкий**. Затем группируем (**groupY**, редьюсер count), складываем столбцы по полу и показываем 15 самых частых фамилий (параметр сортировки *limit*).","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":33,"value":"baseSurname = (s) => s\n .replace(/(ов|ев|ёв|ин|ын)а$/u, \"$1\")\n .replace(/ская$/u, \"ский\")\n .replace(/цкая$/u, \"цкий\")","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":34,"value":"`Проверка: ${[\"Иванова\", \"Сергеева\", \"Пушкина\", \"Вишневская\", \"Козлов\", \"Ким\"].map(s => s + \" → \" + baseSurname(s)).join(\", \")}`","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":35,"value":"Plot.plot({\n caption: \"Рис. 4. 15 самых частых фамилий после приведения к мужской форме. Цвет — пол.\",\n width: 800,\n height: 420,\n marginLeft: 110,\n grid: true,\n x: {label: \"Число спортсменов →\"},\n y: {label: null},\n color: {...sexColors, legend: true},\n marks: [\n Plot.barX(athletes, Plot.groupY({x: \"count\"}, {\n y: d => baseSurname(d.surname), fill: \"sex\",\n sort: {y: \"x\", reverse: true, limit: 15}\n })),\n Plot.ruleX([0])\n ]\n})","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":36,"value":"familyStats = {\n const groups = d3.groups(athletes, d => baseSurname(d.surname));\n const raw = new Set(athletes.map(d => d.surname)).size;\n const mixed = groups.filter(([, v]) => new Set(v.map(d => d.sex)).size === 2);\n return {raw, normalized: groups.length, mixed: mixed.length, example: mixed.slice(0, 4).map(([k, v]) => [...new Set(v.map(d => d.surname))].join(\" / \")).join(\"; \")};\n}","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":37,"value":"**Вывод.** Различных фамилий «как есть» — ${familyStats.raw}, после нормализации — ${familyStats.normalized}. В ${familyStats.mixed} группах есть и мужчины, и женщины (например: ${familyStats.example}), и без нормализации их не удалось бы объединить.","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":38,"value":"---\n## Задача 5. «Индекс первенства» стран (d3.rollups + barX)\n\n**Индекс первенства** — доля крупнейшего города в суммарном населении всех городов страны из выборки. Высокое значение означает «моноцентричную» страну (одна столица-гигант), низкое — равномерную сеть городов.\n\n**Сначала — очистка данных.** На листе «страны» есть повторяющиеся пары «город – страна» с разной численностью населения:","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":39,"value":"citiesRaw = book.sheet(\"страны\", {headers: true})","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":40,"value":"cityRows = citiesRaw\n .filter(d => d[\"Город\"] && d[\"Страна\"])\n .map(d => ({city: String(d[\"Город\"]).trim(), country: String(d[\"Страна\"]).trim(), pop: Number(d[\"Численность население\"])}))","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":41,"value":"duplicates = d3.rollups(cityRows, v => ({n: v.length, min: d3.min(v, d => d.pop), max: d3.max(v, d => d.pop)}), d => d.country, d => d.city)\n .flatMap(([country, m]) => m.map(([city, r]) => ({country, city, ...r})))\n .filter(d => d.n > 1)\n .sort((a, b) => b.n - a.n)","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":42,"value":"Inputs.table(duplicates, {\n header: {country: \"Страна\", city: \"Город\", n: \"Повторов\", min: \"Мин., тыс.\", max: \"Макс., тыс.\"},\n maxHeight: 180, select: false\n})","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":43,"value":"Повторов ${duplicates.length} (все — ${[...new Set(duplicates.map(d => d.country))].join(\", \")}), лишних строк ${d3.sum(duplicates, d => d.n - 1)}. Значения сильно различаются (Антверпен: 24 и 472 тыс.). Похоже, под одним названием записаны и сам город, и его отдельные районы или коммуны. Суммировать такие строки нельзя (население районов посчитается дважды), поэтому оставляем **максимальное** значение — численность города целиком.","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":44,"value":"cities = d3.rollups(cityRows, v => d3.greatest(v, d => d.pop), d => d.country, d => d.city)\n .flatMap(([, m]) => m.map(([, r]) => r))","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":45,"value":"primacy = d3.rollups(cities, v => {\n const top = d3.greatest(v, d => d.pop);\n const total = d3.sum(v, d => d.pop);\n return {largest: top.city, largestPop: top.pop, total, n: v.length, share: top.pop / total};\n }, d => d.country)\n .map(([country, r]) => ({country, ...r}))","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":46,"value":"Plot.plot({\n caption: \"Рис. 5. Индекс первенства: доля крупнейшего города в суммарном населении городов страны из выборки. Цвет — число городов страны в выборке.\",\n width: 950,\n height: 560,\n marginLeft: 140,\n marginRight: 150,\n grid: true,\n x: {percent: true, domain: [0, 100], label: \"Доля крупнейшего города, % →\"},\n y: {label: null},\n color: {type: \"log\", scheme: \"viridis\", legend: true, label: \"Городов в выборке\"},\n marks: [\n Plot.barX(primacy, {x: \"share\", y: \"country\", fill: \"n\", sort: {y: \"x\", reverse: true}}),\n Plot.text(primacy, {x: \"share\", y: \"country\", text: d => `${d.largest} (${Math.round(d.share * 100)}%)`, textAnchor: \"start\", dx: 5}),\n Plot.ruleX([0])\n ]\n})","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":47,"value":"primacyText = {\n const big = primacy.filter(d => d.n >= 20).sort((a, b) => b.share - a.share);\n const f = d => `${d.country} — ${d.largest}, ${Math.round(d.share * 100)}%`;\n return `Самые моноцентричные: ${big.slice(0, 3).map(f).join(\"; \")}. Самые «равномерные»: ${big.slice(-3).reverse().map(f).join(\"; \")}.`;\n}","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":48,"value":"**Вывод.** Индекс первенства сильно зависит от полноты выборки. У стран, где в выборке всего несколько городов (Северная Ирландия, Уэльс, Шотландия, Гамбия), крупнейший город «весит» много просто потому, что сравнивать его почти не с чем. Поэтому сравниваем только страны, у которых в выборке не меньше 20 городов. ${primacyText} Получается, что гигантский размер столицы ещё не означает моноцентричности: Москва — один из крупнейших городов выборки, но у России индекс один из самых низких, потому что в стране много других крупных городов. Вена же «весит» почти половину всех австрийских городов.","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":49,"value":"---\n## Задача 6. Sunburst: структура каталога по выводу ls -lR\n\n### Подготовка данных\nЛистинг каталога **pandas/io** (подмодуль ввода-вывода библиотеки pandas) получен двумя командами с перенаправлением вывода в текстовый файл:\n\n* Git Bash / Linux: `ls -lR --ignore=__pycache__ --time-style=long-iso io > ls_lR.txt`\n (-l — подробный формат с размером, -R — рекурсивно, --ignore — исключить служебные каталоги `__pycache__` с байт-кодом, --time-style — единый формат даты);\n* Windows (cmd): `dir /s /-c io > dir_s.txt`\n (/s — рекурсивно, /-c — размеры без разделителей разрядов, чтобы их было проще разбирать).\n\nОба файла — обычный текст, поэтому разбираем их регулярными выражениями. В выводе ls заголовок каталога — строка вида «io/excel:», строка файла начинается с «-» и содержит размер перед датой; имя файла — всё, что после времени (в нём могут быть пробелы).","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":50,"value":"lsText = FileAttachment(\"ls_lR.txt\").text()","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":51,"value":"parseLsLR = (text) => {\n const rows = [];\n let dir = null;\n for (const line of text.split(/\\r?\\n/)) {\n const header = line.match(/^(.+):$/);\n if (header) { dir = header[1]; continue; }\n // -rw-r--r-- 1 user group 24235 2026-04-05 21:29 file name.py\n const m = line.match(/^-\\S+\\s+\\d+\\s+\\S+\\s+\\S+\\s+(\\d+)\\s+\\d{4}-\\d\\d-\\d\\d\\s+\\d\\d:\\d\\d\\s+(.+)$/);\n if (m && dir) rows.push({path: `${dir}/${m[2]}`, size: +m[1]});\n }\n return rows;\n}","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":52,"value":"filesLs = parseLsLR(lsText)","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":53,"value":"Вывод dir устроен иначе: путь каталога идёт после слов «Содержимое папки» (в английской Windows — «Directory of») и записан полностью, с диском и обратными слэшами. Строка файла: дата, время, размер, имя. Каталоги помечены «<DIR>» и пропускаются. Каталоги `__pycache__` команда dir исключать не умеет, поэтому отфильтровываем их сами.","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":54,"value":"dirText = FileAttachment(\"dir_s.txt\").text()","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":55,"value":"parseDirS = (text, rootName) => {\n const rows = [];\n let root = null, dir = null;\n for (const line of text.split(/\\r?\\n/)) {\n const h = line.match(/^\\s*(?:Содержимое папки|Directory of)\\s+(.+?)\\s*$/);\n if (h) {\n root ??= h[1];\n dir = rootName + h[1].slice(root.length).replaceAll(\"\\\\\", \"/\");\n continue;\n }\n const m = line.match(/^\\d\\d\\.\\d\\d\\.\\d{4}\\s+\\d\\d:\\d\\d\\s+(\\d+)\\s+(.+)$/);\n if (m && dir) rows.push({path: `${dir}/${m[2]}`, size: +m[1]});\n }\n return rows;\n}","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":56,"value":"filesDir = parseDirS(dirText, \"io\").filter(d => !d.path.includes(\"__pycache__\"))","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":57,"value":"**Сверка двух источников:** если разбор верный, оба списка должны совпасть по количеству файлов, суммарному размеру и набору путей.","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":58,"value":"check = {\n const a = new Map(filesLs.map(d => [d.path, d.size]));\n const b = new Map(filesDir.map(d => [d.path, d.size]));\n const onlyLs = [...a.keys()].filter(k => !b.has(k));\n const onlyDir = [...b.keys()].filter(k => !a.has(k));\n const sizeDiff = [...a].filter(([k, s]) => b.has(k) && b.get(k) !== s).map(([k]) => k);\n return htl.html`\n \n \n \n \n \n \n

	ls -lR	dir /s
Файлов	${a.size}	${b.size}
Суммарный размер, байт	${d3.sum(a.values()).toLocaleString(\"ru-RU\")}	${d3.sum(b.values()).toLocaleString(\"ru-RU\")}
Пути только в одном списке	${onlyLs.length}	${onlyDir.length}
Расхождения размеров	${sizeDiff.length}
Итог	${onlyLs.length + onlyDir.length + sizeDiff.length === 0 ? \"✔ списки совпадают\" : \"✘ есть расхождения\"}

`;\n}","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":59,"value":"### Построение иерархии\nМетод **d3.stratify().path()** сам строит дерево по путям вида «io/excel/_base.py»: промежуточные узлы (каталоги) создаются автоматически. Размер каталога — сумма размеров вложенных файлов (**sum**).\n\nПереключатель ниже меняет, что определяет угол сектора: суммарный **размер** в байтах или **количество** файлов. Картина заметно меняется: например, в каталоге formats немного файлов, но они крупные.","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":60,"value":"viewof sunValue = Inputs.radio([\"размер, байт\", \"количество файлов\"], {label: \"Величина сектора\", value: \"размер, байт\"})","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":61,"value":"fileTree = d3.stratify().path(d => d.path)(filesLs)\n .sum(d => d ? (sunValue === \"размер, байт\" ? d.size : 1) : 0)\n .sort((a, b) => b.value - a.value)","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":62,"value":"nodeName = (node) => node.id.split(\"/\").pop()","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":63,"value":"fmtBytes = (b) => b >= 1024 * 1024 ? (b / 1024 / 1024).toFixed(1) + \" МБ\" : b >= 1024 ? (b / 1024).toFixed(1) + \" КБ\" : b + \" Б\"","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":64,"value":"Функция построения Sunburst (на основе **d3.partition**: угол сектора пропорционален величине узла, радиус — глубине вложенности). Цвет — каталог первого уровня; файлы, лежащие прямо в io, — серые.","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":65,"value":"$3d","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":66,"value":"sunburst(fileTree, {width: Math.min(width, 760)})","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":67,"value":"dirSummary = (fileTree.children ?? []).map(d => ({\n name: nodeName(d),\n kind: d.children ? \"каталог\" : \"файл\",\n files: d.leaves().length,\n bytes: d3.sum(d.leaves(), l => l.data.size)\n })).sort((a, b) => b.bytes - a.bytes)","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":68,"value":"Inputs.table(dirSummary, {\n header: {name: \"Элемент io/\", kind: \"Тип\", files: \"Файлов\", bytes: \"Размер\"},\n format: {bytes: fmtBytes}, rows: 8, select: false\n})","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":69,"value":"topParts = dirSummary.slice(0, 3).map(d => `${d.name} (${fmtBytes(d.bytes)})`).join(\", \")","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":70,"value":"**Вывод.** По размеру крупнейшие части io — ${topParts}. Отдельные файлы pytables.py, stata.py и sql.py по объёму сопоставимы с целыми подкаталогами: это монолитные модули поддержки форматов HDF5, Stata и баз данных. В режиме «количество файлов» вперёд выходят каталоги с множеством мелких модулей (excel, formats).","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":71,"value":"---\n## Задача 7. Pack: города мира по частям света и странам\n\n### Подготовка данных\nДля Pack нужна иерархия. В таблице есть только пары «город – страна», поэтому добавляем уровни сами:\n* **часть света** (Европа, Азия, Африка, Океания). Россия отнесена к Европе по расположению столицы, Турция — к Азии (большая часть территории);\n* Англия, Шотландия, Уэльс и Северная Ирландия — составные части **Великобритании**, поэтому для них появляется дополнительный уровень. Иерархия получается **разной глубины**, и d3.stratify это допускает.\n\nПуть узла строится строкой «Мир/Европа/Великобритания/Англия/Лондон». Используем очищенные от дубликатов данные из задачи 5. Ползунок задаёт минимальную численность города: мелкие города превращаются в точки и только загромождают диаграмму.","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":72,"value":"geo = new Map([\n [\"Россия\", \"Европа\"], [\"Бельгия\", \"Европа\"], [\"Белоруссия\", \"Европа\"], [\"Австрия\", \"Европа\"],\n [\"Украина\", \"Европа\"], [\"Италия\", \"Европа\"], [\"Мальта\", \"Европа\"], [\"Испания\", \"Европа\"],\n [\"Германия\", \"Европа\"], [\"Швейцария\", \"Европа\"],\n [\"Англия\", \"Европа/Великобритания\"], [\"Шотландия\", \"Европа/Великобритания\"],\n [\"Уэльс\", \"Европа/Великобритания\"], [\"Северная Ирландия\", \"Европа/Великобритания\"],\n [\"Турция\", \"Азия\"],\n [\"Египет\", \"Африка\"], [\"Алжир\", \"Африка\"], [\"Тунис\", \"Африка\"], [\"Гамбия\", \"Африка\"],\n [\"Австралия\", \"Океания\"]\n])","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":73,"value":"`Страны без части света: ${[...new Set(cities.map(d => d.country))].filter(c => !geo.has(c)).join(\", \") || \"нет\"}`","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":74,"value":"viewof minPop = Inputs.range([0, 500], {label: \"Города от, тыс. чел.\", step: 10, value: 50})","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":75,"value":"packRows = cities\n .filter(d => d.pop >= minPop)\n .map(d => ({...d, path: `Мир/${geo.get(d.country) ?? \"Прочее\"}/${d.country}/${d.city}`}))","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":76,"value":"cityTree = d3.stratify().path(d => d.path)(packRows)\n .sum(d => d ? d.pop : 0)\n .sort((a, b) => b.value - a.value)","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":77,"value":"Функция построения Pack (на основе **d3.pack**: площадь круга пропорциональна численности населения, вложенность кругов повторяет иерархию). Цвет городов — часть света. Подписаны крупные города и страны.","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":78,"value":"$3e","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":79,"value":"packChart(cityTree, {width: Math.min(width, 900)})","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":80,"value":"continentStats = (cityTree.children ?? []).map(d => ({\n continent: nodeName(d),\n countries: d.descendants().filter(n => n.children && n.children.some(c => !c.children)).length,\n cities: d.leaves().length,\n population: d.value\n })).sort((a, b) => b.population - a.population)","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":81,"value":"Inputs.table(continentStats, {\n header: {continent: \"Часть света\", countries: \"Стран\", cities: \"Городов\", population: \"Население, тыс.\"},\n format: {population: d => d3.format(\",.0f\")(d)}, select: false\n})","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":82,"value":"packText = {\n const all = d3.rollup(cities, v => ({n: v.length, pop: d3.sum(v, d => d.pop)}), d => (geo.get(d.country) ?? \"Прочее\").split(\"/\")[0]);\n const shown = d3.rollup(packRows, v => ({n: v.length, pop: d3.sum(v, d => d.pop)}), d => (geo.get(d.country) ?? \"Прочее\").split(\"/\")[0]);\n const eu = all.get(\"Европа\"), as = all.get(\"Азия\"), euShown = shown.get(\"Европа\") ?? {n: 0, pop: 0};\n return `Средний город выборки в Азии (Турция) почти вдвое крупнее европейского: ${Math.round(as.pop / as.n)} против ${Math.round(eu.pop / eu.n)} тыс. чел. При пороге ${minPop} тыс. из ${eu.n} европейских городов остаётся ${euShown.n} (${Math.round(euShown.n / eu.n * 100)}%), а их суммарное население сохраняется на ${Math.round(euShown.pop / eu.pop * 100)}%.`;\n}","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"},{"id":83,"value":"**Вывод.** На диаграмме сразу видны «тяжёлые» города: Стамбул, Москва, Каир и Лондон по площади круга сопоставимы с целыми странами из выборки. ${packText} Ползунок показывает, что мелкие города почти не влияют на суммарное население (круги частей света почти не меняются), но сильно загромождают картинку. Это аргумент в пользу фильтра при построении Pack.","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined","tool":"$undefined","providerMetadata":"$undefined","attachments":"$undefined","output":"$undefined","database":"$undefined"}],"files":"$W3f","stdlib":"2"}} 33:null