23:null 24:["$","title",null,{"children":"Maximum likelihood - Poissonregression | Mattias Villani | Observable"}] 29:T673, Eftersom `NBidders` är s k räknedata (eng. counts) så är en naturlig första modell att prova en Poissonmodell, dvs ${tex`X_1,X_2,\ldots,X_n \overset{\mathrm{ober}}{\sim}\mathrm{Pois}(\lambda)`}, där ${tex`X_i`} är antalet budgivare i auktion *i*. De interaktiva graferna nedan visar hur väl en Poisson-modell med ett visst ${tex`\lambda`} passar de observerade data i de utvalda auktionerna med lågt reservationspris (blå staplar). Den orangea linjens prickar visar modellens sannolikheter för olika `NBidders`. I en Poissonmodell som anpassar data bra ska därför den orangea linjen överensstämma med de blå staplarna. Med det ursprungliga valet ${tex`\lambda=2`} ser vi att modellen passar data dåligt. Modellen ger t ex en sannolikhet för noll budgivare på lite över 0.13, men auktioner utan budgivare observerades i mindre än 1% av de 1000 auktionerna. Värdet på den genomsnittliga sannolikheten för de utvalda dataobservationerna skrivs också ut (det är ett s k [geometriskt](https://sv.wikipedia.org/wiki/Geometriskt_medelv%C3%A4rde) medelvärde, vilket passar bättre för ett medelvärde av sannolikheter). Ändra på ${tex`\lambda`} tills modellen anpassar data bra. Klicka för *visa ML anpassning* för att lägg till en optimal modellanpassningen enligt maximum-likelihood (ML) metoden. Denna metod väljer det ${tex`\lambda`} som maximerar den genomsnittliga sannolikheten för observerade data. För Poissonfördelningen är denna optimala *estimator* av ${tex`\lambda`} faktiskt medelvärdet ${tex`\bar X`} av data. För den nyfikne bevisar vi detta matematiskt i ett appendix i slutet av notebooken.2a:T491,Man kan faktiskt säga att vi har gjort en slags enkel variant av **Poissonregression** när vi delade upp datamaterialet i två delar: auktioner med lågt reservationspris och auktioner med högt reservationspris. På vilket sätt är det här en regressionsmodell? Jo, regression handlar om att modellera **betingade** väntevärden, vilket är precis vad vi har gjort här: vi modellerar antalet budgivare som Poissonfördelat med olika väntevärden för auktioner med ett lågt respektive högt reservationspris: ${tex`E(\text{antal budgivare} \mid \text{lågt reservationspris}) = \lambda_{\mathrm{low}}=${mle.toPrecision(4)}`}
${tex`E(\text{antal budgivare} \mid \text{högt reservationspris}) = \lambda_{\mathrm{high}}=${mle_high.toPrecision(4)}`} Det är därför en rätt speciell regression där regressionslinjen är horisontell för alla auktioner där ReservePriceFrac är lägre än det tröskelvärde vi valt, för att sen hoppa ner till en ny nivå när ReservePriceFrac är högre än tröskelvärdet:2b:T964,text_poissonregression = md` Vi har nu sett att uppdelningen i auktioner med lågt respektive högt reservationspris kan skrivas som en regressionsmodell med Poissonfördelad responsvariabel. En naturlig utökning är då att gå ifrån den lite krystade hårda uppdelningen i lågt respektive högt reservationspris och istället låta väntevärdet ${tex`\lambda`} vara en mjuk funktion av variabeln ReservePriceFrac. Dvs använda ReservePriceFrac direkt som en förklarande variabel i en **Poissonregression**. Vi kommer då alltså att få en Poisson-modell för *varje värde* på förklarande variabeln, dvs ${tex`\lambda`}-parametern kommer att ha olika värden för olika observationer, beroende på ReservePriceFrac. Låt ${tex`Y_i`} vara antalet budgivare i auktion *i*, och låt ${tex`x_i`} vara variabeln ReservePriceFrac i samma auktion, som vi som vanligt i regressionsammanhang antar vara icke-slumpmässig. Poissonregressionsmodellen för antalet budgivare är då: ${tex`Y_i \vert x_i \sim \mathrm{Pois}(\lambda_i)`}

där ${tex`\lambda_i`} för den *i*:te observationen ges av funktionen

${tex`\lambda_i = \exp(\beta_0 + \beta_1\cdot x_i)`}. Anledningen till att vi använder exponentialfunktionen (${tex`\exp(x)`}) här att den alltid ger positiva värden, vilket är precis vad som krävs i en Poissonmodell eftersom ${tex`\lambda`} måste vara positiv. Det skulle helt enkelt inte gå att modellera väntevärdet som i vanlig normalfördelad regression med ${tex`\lambda_i = \beta_0 + \beta_1\cdot x_i`} som betingat väntevärde för då riskerar vi att få negativa ${tex`\lambda_i`}! Notera att ${tex`\lambda_i`} varierar mellan auktioner eftersom ${tex`x_i`} är olika i olika auktioner. Antag t ex att ${tex`\beta_0 = 2`} och ${tex`\beta_1 = -3`}. För den första auktionen i datamaterialet som har ReservePriceFrac = 0.369 får vi då att

${tex`\lambda_1 = \exp(\beta_0 + \beta_1\cdot x_1) = \exp(2-3\cdot 0.369) = 2.442`}

och därför att antalet budgivare i den auktionen är ${tex`Y_1 \sim \mathrm{Pois}(\lambda_1 = 2.442)`}.
För den andra auktionen i datamaterialet som har ReservePriceFrac = 0.230 får vi istället

${tex`\lambda_2 = \exp(\beta_0 + \beta_1\cdot x_2) = \exp(2-3\cdot 0.230) = 3.706`}

och därför att antalet budgivare i den auktionen är ${tex`Y_2 \sim \mathrm{Pois}(\lambda_2 = 3.706)`}.
`2c:T6fc,textslh_reg = { if (!view_ml_reg){ if (beta[1]>0){ return html`Medelsannolikhet för observerad data med modellen Y | x ~ Pois(λ = exp(${beta[0]} + ${beta[1]}x)) är ${geomean_like_reg(regdata, beta).toPrecision(4)}`} else{ return html`Medelsannolikhet för observerad data med modellen Y | x ~ Pois(λ = exp(${beta[0]} ${beta[1]}x)) är ${geomean_like_reg(regdata, beta).toPrecision(4)}`} } else{ if (ml_beta[1]>0){ return html`Medelsannolikhet för observerad data med modellen Y | x ~ Pois(λ = exp(${beta[0]} + ${beta[1]}x)) är ${geomean_like_reg(regdata, beta).toPrecision(4)}
Medelsannolikhet för observerad data med ML-skattningen Y | x ~ Pois(λ = exp(${ml_beta[0].toPrecision(4)} + ${ml_beta[1].toPrecision(4)}x)) är ${geomean_like_reg(regdata, ml_beta).toPrecision(4)}`} else{ return html`Medelsannolikhet för observerad data med modellen Y | x ~ Pois(λ = exp(${beta[0]} ${beta[1]}x)) är ${geomean_like_reg(regdata, beta).toPrecision(4)}
Medelsannolikhet för observerad data med ML-skattningen Y | x ~ Pois(λ = exp(${ml_beta[0].toPrecision(4)} ${ml_beta[1].toPrecision(4)}x)) är ${geomean_like_reg(regdata, ml_beta).toPrecision(4)}`} } }2d:T5be,> 😰 *Det här avsnittet kräver lite mer matematik och kan hoppas över om du inte är van med tekniken att maximera en funktion genom att hitta punkten där derivatan av funktionen är noll.* I figurerna ovan maximerade vi det geometriska medelvärdet av sannolikheten för observerade data. Att maximera denna genomsnittliga sannolikhet är detsamma som att maximera den simultana sannolikheten för hela datamaterialet, ${tex`P(x_1,x_2,\ldots,x_n \vert \lambda)=\prod_{i=1}^n P(x_i \vert \lambda)`} där vi använt att observationerna antas vara oberoende och den simultana sannolikheten blir därför en produkt över sannolikheten för varje observation, ${tex`P(x_i \vert \lambda)`}. Notera att data skrivs med små bokstäver för här är vi intresserad av att maximera sannolikheten för det datamaterial som vi har **observerat**. I uttrycket ovan har vi explicit skrivit ut att sannolikheten för att observera ett visst datamaterial beror på ${tex`\lambda`}, som ju är den parameter som vi ska välja så att sannolikheten för data maximeras. Den simultana sannolikheten för data ${tex`P(x_1,x_2,\ldots,x_n \vert \lambda)`} betraktad som en funktion av parametern ${tex`\lambda`} för ett fixt (observerat) datamaterial kallas **likelihood-funktionen**, eller bara **likelihooden**. Maximum likelihood-skattningen av en modellparameter (t ex ${tex`\lambda`} i Poissonmodellen) är det värde på parametern som maximerar likelihood-funktionen. 2e:T4d8,I fallet där data kommer från Poissonfördelningen är sannolikhetsfunktionen för en observation ${tex`P(x) = \frac{e^{-\lambda}\lambda^x}{x!}`}, och därför ${tex`\log P(x) = -\lambda + x\log\lambda - \log x!`}, så log-likelihooden är: ${tex`\ell(\lambda)=\sum_{i=1}^n\Big(-\lambda + x_i\log\lambda - \log(x_i !) \Big) = -n\lambda + \log\lambda \sum_{i=1}^n x_i - \sum_{i=1}^n \log(x_i !)`} Vi vet från matematisk analys att maximum för en funktion ${tex`f(x)`} hittas genom att sätta första-derivatan till noll och lösa ut ${tex`x`}. Första-derivatan har en enkel form: ${tex`\frac{d}{d\lambda}\ell(\lambda) = -n + \frac{\sum_{i=1}^n x_i}{\lambda} = 0`} vilket ger lösningen ${tex`\lambda = \frac{\sum_{i=1}^n x_i}{n}=\bar x`}. Vi kan verifiera att detta verkligen är ett maximum genom att undersöka om andra-derivatan är negativ vid ${tex`\lambda = \bar x`}. Andra-derivatan är ${tex`\frac{d^2}{d\lambda^2}\ell(\lambda) = - \frac{\sum_{i=1}^n x_i}{\lambda^2}`}, som är negativ för alla ${tex`\lambda`} eftersom både data och ${tex`\lambda`} måste vara positiva. Maximum likelihood estimator av parametern ${tex`\lambda`} i Poissonmodellen är alltså medelvärdet ${tex`\hat\lambda = \bar x`}. 😅🥳2f:Td3d,// Simple function to generate a contour plot using d3.contours. // Largley lifted from https://observablehq.com/@d3/contours. // Copied from @mcmcclur/contour-plots to be able to set xsteps and ysteps function contour_plot(f, [[a, b], [c, d]], thresholds, opts = {}) { let { xsteps = 50, ysteps = 50, w = width < 360 ? width : 360, h = w, pad = 30 } = opts; let dx = (b - a) / xsteps; let dy = (d - c) / ysteps; let grid = d3.range((xsteps + 1) * (ysteps + 1)).map(function (k) { let i = k % (xsteps + 1); let x = a + i * dx; let j = Math.floor(k / (xsteps + 1)); let y = d - j * dy; return [x, y]; }); grid.m = xsteps; grid.n = ysteps; grid.a = a; grid.b = b; grid.c = c; grid.d = d; let x_scale = d3 .scaleLinear() .domain([grid.a, grid.b]) .range([pad, w - pad]); let y_scale = d3 .scaleLinear() .domain([grid.c, grid.d]) .range([h - pad, pad]); let extent = d3.extent(thresholds); let zmin = extent[0]; let zmax = extent[1]; let color = d3 .scaleLinear() .domain([zmax, zmin]) // .interpolate((d) => d3.interpolateBlues); .interpolate((d) => (t) => d3.interpolateBlues(1 - t)); // .interpolate((d) => (t) => "white"); let contours = d3 .contours() .size([grid.m + 1, grid.n + 1]) .thresholds(thresholds)(grid.map(f)) .map(transform); const svg = d3 .create("svg") .attr("class", "contour_plot") .attr("width", w) .attr("height", h); svg .append("g") .attr("stroke", "#000") .attr("stroke-opacity", 0.8) .selectAll("path") .data(contours) .join("path") .attr("fill", (d) => color(d.value)) .attr("d", d3.geoPath()) .append("title") .text((d) => Math.abs(d.value) < 10 ** -5 ? 0 : d3.format("0.4")(d.value) ); svg .append("g") .attr("transform", `translate(0, ${h - pad})`) .call(d3.axisBottom(x_scale).ticks(4)); svg .append("g") .attr("transform", `translate(${pad})`) .call(d3.axisLeft(y_scale).ticks(4)); svg.append("text") .attr("class", "x label") .attr("text-anchor", "middle") .attr("x", w/2) .attr("y", h) .text("b0"); svg.append("text") .attr("class", "y label") .attr("text-anchor", "middle") .attr("x", pad/2) .attr("y", h/2) .text("b1"); svg .append('circle') .attr('cx', pad + ((beta[0]-a)/(b-a))*(w-2*pad)) .attr('cy', pad + (1-((beta[1]-c)/(d-c)))*(h-2*pad)) .attr('r', 3) .attr('stroke', 'orange') .attr('fill', 'orange'); if (view_ml_reg){ svg .append('circle') .attr('cx', pad + ((ml_beta[0]-a)/(b-a))*(w-2*pad)) .attr('cy', pad + (1-((ml_beta[1]-c)/(d-c)))*(h-2*pad)) .attr('r', 3) .attr('stroke', '#5F9EA0') .attr('fill', '#5F9EA0'); } return svg.node(); // Transform the contours by mapping from grid coordinates (indices) // to svg coordinates (px). function transform({ type, value, coordinates }) { let i_scale = d3 .scaleLinear() .domain([0, grid.m + 1]) .range([pad, w - pad]); let j_scale = d3 .scaleLinear() .domain([0, grid.n + 1]) .range([pad, h - pad]); return { type, value, coordinates: coordinates.map((rings) => { return rings.map((points) => { return points.map(([i, j]) => [i_scale(i), j_scale(j)]); }); }) }; } }30:[{"id":"47a98ee79de7b4b3716e827299fc52ebaed0d3bc6bc47841a6eb324fe4c9c19eda2424b7e2b38ecdc5e4c0c332a1112f9df83e2b55f4be3c95dd11f8b5c929e9","href":"https://static.observableusercontent.com/files/47a98ee79de7b4b3716e827299fc52ebaed0d3bc6bc47841a6eb324fe4c9c19eda2424b7e2b38ecdc5e4c0c332a1112f9df83e2b55f4be3c95dd11f8b5c929e9","name":"ebaydata@2.csv","type":"text/csv","lastModified":1679762325273.149,"size":47654}] 27:{"id":"6ad25aff8c6dc593","slug":"maximum-likelihood-poissonmodellen","title":"Maximum likelihood - Poissonregression","thumbnail":"77aeccd6093897a62b2ba67512b0f07fd4e011394b5e74f1f8e99a9d9987503d","access_level":"public","create_time":"$D2023-02-02T11:28:48.752Z","update_time":"$D2023-11-04T08:57:45.443Z","view_time":null,"first_public_time":"$D2023-02-02T11:28:48.752Z","fork":{"id":"ead37e06dd3cddac","slug":"poissonfordelning","title":"Poissonfördelning","owner":{"id":"7592a7ab121f74a0","login":"mattiasvillani","name":"Mattias Villani"}},"stars":0,"starred":false,"owner":{"type":"team","id":"7592a7ab121f74a0","login":"mattiasvillani","name":"Mattias Villani","avatar_url":"https://avatars-next.observableusercontent.com/a440aaf39a3abefb86cbcc758fd7a5ab42555ae68d6825b52ec006f385a94d1d","tier":"pro_2024"},"version":2140,"publish_version":null,"role":null,"authored":false,"authors":[{"type":"individual","id":"56499be8cf43f0ef","login":"mattiasvillani","name":"Mattias Villani","avatar_url":"https://avatars-next.observableusercontent.com/a440aaf39a3abefb86cbcc758fd7a5ab42555ae68d6825b52ec006f385a94d1d","tier":null}],"members":[{"type":"individual","id":"56499be8cf43f0ef","login":"mattiasvillani","name":"Mattias Villani","avatar_url":"https://avatars-next.observableusercontent.com/a440aaf39a3abefb86cbcc758fd7a5ab42555ae68d6825b52ec006f385a94d1d","tier":null,"role":"editor"}],"comments":[],"custom_thumbnail":true,"trashed":false,"subscribed":null,"forks":2,"collection":{"id":"209e13808f44ed11","slug":"sda1","title":"SDA1","owner":{"id":"7592a7ab121f74a0","login":"mattiasvillani","name":"Mattias Villani"}},"type":"notebook","body":{"title":"Maximum likelihood - Poissonregression","cells":[{"id":38,"value":"# Maximum likelihood - Poissonregression","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined"},{"id":2049,"value":"toc(\"h2,h3\", \"Innehåll\")","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":771,"value":"### Data från myntauktioner på eBay\nI denna notebook ska vi analysera antalet budgivare i 1000 ebay auktioner av samlarmynt^{[[1](#footnote1)]}. Hela materialet ges i den scrollbara tabellen nedan.","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined"},{"id":2069,"value":"ebaydata","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1832,"value":"Varje rad i datamaterialet är en auktion med följande data:\n- **`BookVal`** är myntets värde enligt myntkatalog\n- **`MinorBlem`** är 1 om myntet har en mindre skada, annars 0\n- **`MajorBlem`** är 1 om myntet har en större skada, annars 0\n- **`PowerSeller`** är 1 om säljaren är en storsäljare, annars 0\n- **`IDSeller`** är 1 om säljaren är en s k identifierad säljare på ebay, annars 0\n- **`Sealed`** är 1 om myntet är kvar i oöppnad förpackning, annars 0\n- **`NegFeedback`** är 1 om säljaren har stor andel negativa reviews från köpare, annars 0\n- **`ReservePriceFrac`** är säljarens reservationspris (lägsta accepterade priset) som andel av BookVal. \n- **`NBidders`** är antalet budgivare i auktionen.\n- **`FinalPrice`** är slutpriset som vinnaren betalar enligt ebays s k proxysystem: \n - NA (not available) om inga bud lades\n - reservationspriset om auktionen bara hade en budgivare\n - näst högsta budet om två eller fler budgivare deltog i auktionen","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined"},{"id":778,"value":"### Separata Poisson modeller för auktioner med olika reservationspris\n\nVi kommer här att fokusera på att analysera variabel `NBidders`, som är antalet unika budgivare i respektive auktion. De olika auktionerna säljer mynt med varierande värde och med varierande s k reservationspris, dvs det lägsta pris som säljaren accepterar att sälja myntet för. För att få lite mer homogena observationer begränsar vi oss först till auktionerna med lägst reservationspris i relation till myntets värde enligt myntsamlarbok (`BookVal`). Initialt analyserar vi därför auktioner där variabeln `ReservePriceFrac` är mindre än 0.5, men du kan ändra detta tröskelvärde med en slider nedan.","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined"},{"id":1158,"value":"$29","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined"},{"id":1175,"value":"Som du ser genom att interagera med grafen ger varje värde på ${tex`\\lambda`} en genomsnittlig sannolikhet för data. I figuren till höger ritar vi upp alla dessa värden som en funktion av ${tex`\\lambda`}. Maximum likelihood skattningen av ${tex`\\lambda`} är det värde som maximerar denna funktion. Den orangea pricken i grafen indikerar det värde på ${tex`\\lambda`} som du valt med slidern. När den är på toppen av funktionen till höger så har du hittat maximum likelihood-skattningen!","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined"},{"id":1138,"value":"modell = tex`\\text{Modell för auktioner med lågt reservationspris: }X_1,X_2,\\ldots,X_{${y.length}} \\overset{\\mathrm{ober}}{\\sim}\\mathrm{Pois}(\\lambda)`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1913,"value":"viewof reserve_threshold = \n Inputs.range([\n d3.min(ebaydata.map(d => d.ReservePriceFrac)), d3.max(ebaydata.map(d => d.ReservePriceFrac))-0.001], \n {value: 0.5, label: \"tröskel för ReservePriceFrac\"})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":118,"value":"viewof settings = Inputs.form([\n Inputs.range([0.1, 10], {value: 2, step: 0.1, label: tex`\\lambda:`}),\n Inputs.toggle({label: \"visa ML anpassning\", value: false})\n ])","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1121,"value":"textslh = {\n if (!settings[1]){\n return html`Medelsannolikhet för observerad data med modellen \n Pois(λ = ${lambda}) är ${geomean_like(y,lambda).toPrecision(4)}`\n }\n else{\n return html`Medelsannolikhet för observerad data med modellen \n Pois(λ = ${lambda}) är ${geomean_like(y,lambda).toPrecision(4)}
\n Medelsannolikhet för observerad data med ML-skattningen \n Pois(λ = ${mle.toPrecision(4)}) är ${geomean_like(y,mle).toPrecision(4)}\n`\n }\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1218,"value":"bothplots = html`\n \n \n \n

\n ${pltdata}\n

\n ${pltlikelihood}\n

\n \n`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1891,"value":"### Poissonregression\n\nPrecis som vi kunde beräkna ML-skattningen av ${tex`\\lambda`} för auktioner med lågt reservationspris så kan vi beräkna ML-skattningen av ${tex`\\lambda`} för auktioner med högt reservationspris:","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined"},{"id":1896,"value":"text_two_lambda = {\n return html`ML-skattningen av λ för ${y.length} auktioner med lågt reservationspris är λ = ${mle.toPrecision(4)} med medelsannolikhet ${geomean_like(y,mle).toPrecision(4)}
\n\n ML-skattningen av λ för ${y_high.length} auktioner med högt reservationspris är λ = ${mle_high.toPrecision(4)} med medelsannolikhet ${geomean_like(y_high,mle_high).toPrecision(4)}\n`\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1909,"value":"Inputs.bind(\n Inputs.range([d3.min(ebaydata.map(d => d.ReservePriceFrac)), d3.max(ebaydata.map(d => d.ReservePriceFrac))], \n {value: 0.5, label: \"tröskel för ReservePriceFrac\"})\n , viewof reserve_threshold)","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1944,"value":"$2a","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined"},{"id":1935,"value":"plt_scatter_two = Plot.plot({\n color: {\n legend: true,\n type: \"categorical\",\n },\n y: {label: \"NBidders\"},\n marks: [\n Plot.dot(ebaydata_reg, {x: \"ReservePriceFrac\", y: \"NBidders\", fill: \"lightgray\", r: 2 }),\n Plot.line(lambda_ml_grid_two, {x: \"ReservePriceFrac\", y: \"lambda\", stroke: \"reserveprice\", strokeWidth: 3}),\n Plot.ruleX([0.0]),\n Plot.ruleY([0.0])\n ]\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1978,"value":"Kopplingen till regression blir ännu tydligare om vi introducerar en dummyvariabel `lowReservePrice` som är 1 för auktioner där ReservePriceFrac är lägre än tröskeln och 0 för auktioner där ReservePriceFrac är högre än tröskeln. Vi kan då skriva väntevärdet i Poissonmodellen som en funktion av `lowReservePrice`:\n\n${tex`E(\\textsf{NBidders} \\mid \\textsf{lowReservePrice}) = \\beta_0 + \\beta_1\\cdot \\textsf{lowReservePrice}`}\n\ndär\n\n- ${tex`\\beta_0`} är väntevärdet ${tex`\\lambda_{\\mathrm{high}}`} för auktioner med `lowReservePrice`=0\n- ${tex`\\beta_0 + \\beta_1`} är väntevärdet ${tex`\\lambda_{\\mathrm{low}}`} för auktioner med `lowReservePrice`=1\n","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined"},{"id":1404,"value":"$2b","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1455,"value":"text_poissonregression2 = md`OK, men hur vet vi vilka värden på ${tex`\\beta_0`} och ${tex`\\beta_1`} som passar data? Dvs hur kan vi **estimera** ${tex`\\beta_0`} och ${tex`\\beta_1`} från vårt datamaterial med 1000 auktioner? Här ser vi den stora fördelen med maximum likelihood, att den alltid går att använda oavsett modell. Vi väljer helt enkelt ${tex`\\beta_0`} och ${tex`\\beta_1`} så att medelsannolikheten för att observera NBidders i de 1000 auktionerna är så hög som möjligt. I fallet med Poissonregression finns det tyvärr inga kända formler för maximum likelihood-skattningarna för ${tex`\\beta_0`} och ${tex`\\beta_1`}, men vi kan låta datorn göra jobbet och beräkna maximum likelihood skattningen av ${tex`\\beta_0`} och ${tex`\\beta_1`} med numerisk maximering. Vi kan göra precis likadant om vi har fler än en förklarande variabel, enda skillnaden är att det blir fler ${tex`\\beta`} att maximera över.`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1680,"value":"Prova att ändra värden på ${tex`\\beta_0`} och ${tex`\\beta_1`} med sliders nedan och se hur medelsannolikheten för data förändras. I figuren till vänster ser du en scatterplot av data och den anpassade regressionkurvan ${tex`E(Y\\vert x)= \\lambda(x) = \\exp(\\beta_0 + \\beta_1\\cdot x)`} i orange. I figuren till höger ser du medelsannolikheten för data plottad som en funktion av ${tex`\\beta_0`} och ${tex`\\beta_1`} i en s k konturplott. Ju ljusare blå färg desto högre medelsannolikheten för data. De värden på ${tex`\\beta_0`} och ${tex`\\beta_1`} som du valt med sliders visas som en orange punkt. \n\nKlicka på *visa ML anpassning* för att se anpassningen med ML-skattningen, som då dyker upp en grönblå punkt på \"toppen av berget\" i figuren till höger; ML-skattningen är ju definerad som det värde på parametrarna som maximerar (medel)sannolikheten för observerade data. Regressionskurvan för ML-skattningen dyker upp i figuren till vänster.","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined"},{"id":1464,"value":"viewof beta = Inputs.form([\n Inputs.range([-5, 5], {label: tex`\\beta_0`, value : 2, step: 0.1}),\n Inputs.range([-5, 5], {label: tex`\\beta_1`, value : -3, step: 0.1})\n])","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1815,"value":"viewof view_ml_reg = Inputs.toggle({label: \"visa ML anpassning\", value: false})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1544,"value":"$2c","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1586,"value":"bothplots_reg = html`\n \n \n \n

\n ${plt_scatter}\n

\n ${plt_contour}\n

\n \n`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1233,"value":"### Appendix - Härledning av maximum likelihood-estimatorn","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined"},{"id":1235,"value":"$2d","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined"},{"id":1274,"value":"Det visar sig ofta vara lättare att maximera *logaritmen* av likelihood funktionen, den s k **log-likelihooden**:\n\n${tex`\\ell(\\lambda) = \\log P(x_1,x_2,\\ldots,x_n \\vert \\lambda)=\\sum_{i=1}^n \\log P(x_i \\vert \\lambda)`}.\n\nEftersom logaritmen är en monotont ökande funktion kommer samma ${tex`\\lambda`} maximera likelihooden och log-likelihooden. Log-likelihooden för oberoende observation är lättare att arbeta med eftersom observationer kommer in additivt (summa) istället för multiplikativt (produkt) på log-skala. Och det är lättare att beräkna derivatan av en summa än derivatan av en produkt.","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined"},{"id":1277,"value":"$2e","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined"},{"id":1303,"value":"footnote1 = md`1. [^](#paragraph1) Datamaterialet kommer från artikeln: Wegmann, B. och Villani, M. (2011). Bayesian Inference in Structural Second-Price Common Value Auctions, *Journal of Business and Economic Statistics* [pdf](https://www.tandfonline.com/doi/abs/10.1198/jbes.2011.08289)`","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":109,"value":"
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n\n---\n#### 🙈 Appendix 🙈\n\nHär följer bara kod och detaljer som du antagligen inte vill läsa.","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined"},{"id":221,"value":"#### Imports","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined"},{"id":2047,"value":"import {toc} from \"@mbostock/toc\"","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":26,"value":"jstat = require('jstat')","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":877,"value":"mathjs = require('mathjs')","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1300,"value":"footnote = (referencingCellName, number, text) => {\n return html`

^ ${text}

`;\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1502,"value":"import {addColumn} from \"@observablehq/excel-add-columns\"","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1762,"value":"optimjs = require('optimization-js@1.5.0/dist/optimization.js')","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1231,"value":"#### Dolda grafer som visas ovan","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined"},{"id":780,"value":"pltdata = Plot.plot({\n x: {label: \"x\"},\n marks: [\n Plot.barY(data, Plot.groupX({y: \"proportion\"}, {x: \"NBidders\", fill: \"steelblue\", opacity: 0.7})),\n Plot.line(poispdf_mle, {filter: d => settings[1], x: \"x\", y: \"pdf\", stroke: \"#5F9EA0\", strokeWidth: 3, \n marker: \"circle\", opacity: 1}),\n Plot.line(poispdf, {x: \"x\", y: \"pdf\", stroke: \"#F28C28\", strokeWidth: 3, marker: \"circle\"}),\n Plot.ruleY([0])\n ]\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1062,"value":"pltlikelihood = Plot.plot({\n y: {label: \"genomsnittlig sannolikhet för en observation\"},\n x: {label: \"lambda\"},\n marks: [\n Plot.ruleX([mle], {filter: d => settings[1], stroke: \"#5F9EA0\", strokeWidth: 2}),\n Plot.ruleY([0]),\n Plot.lineY(meanprob_grid, {x: \"lambda\", y: \"geomean\", stroke: \"steelblue\", strokeWidth: 3}),\n //Plot.line([{x: lambda-1, y: geomean_like(y,lambda)-0.02}, {x: lambda + 1, y: geomean_like(y,lambda)}],{x: \"x\", y: \"y\", stroke: \"green\"}),\n Plot.dot([{x: lambda, y: geomean_like(y, lambda)}], {x: \"x\", y: \"y\", fill: \"orange\", marker: \"circle\", r: 7})\n ]\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1482,"value":"plt_scatter = Plot.plot({\n y: {label: \"NBidders\"},\n marks: [\n Plot.dot(ebaydata_reg, {x: \"ReservePriceFrac\", y: \"NBidders\", fill: \"steelblue\", r: 2 }),\n Plot.line(lambda_grid, {x: \"ReservePriceFrac\", y: \"lambda\", stroke: \"orange\", strokeWidth: 3}),\n Plot.line(lambda_ml_grid, {filter: d => view_ml_reg, x: \"ReservePriceFrac\", y: \"lambda\", stroke: \"#5F9EA0\", strokeWidth: 3}),\n Plot.ruleX([0.0]),\n Plot.ruleY([0.0])\n ]\n})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1576,"value":"plt_contour = contour_plot(([b0, b1]) => geomean_like_reg(regdata, [b0, b1]), [[0,4], [-5,2]], d3.range(0, 0.2, 1/100))","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":223,"value":"#### Data","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined"},{"id":1881,"value":"lambda = settings[0]","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":768,"value":"ebaydata = FileAttachment(\"ebaydata@2.csv\").csv({typed: true}); ","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":948,"value":"data = ebaydata.filter(d => d.ReservePriceFrac <= reserve_threshold)","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1900,"value":"data_high = ebaydata.filter(d => d.ReservePriceFrac > reserve_threshold)","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":17,"value":"poispdf = {\n const x = d3.range(0, d3.max(ebaydata, d => d.NBidders) + 5, 1);\n const data = x.map(x => ({x: x, pdf: jstat.poisson.pdf(x, lambda)}));\n return data\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":978,"value":"poispdf_mle = {\n const x = d3.range(0, d3.max(y) + 5, 1);\n const data = x.map(x => ({x: x, pdf: jstat.poisson.pdf(x, mle)}));\n return data\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1081,"value":"y = Array.from(d3.map(data, d => d.NBidders))","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1904,"value":"y_high = Array.from(d3.map(data_high, d => d.NBidders))","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":981,"value":"mle = d3.mean(y)","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1902,"value":"mle_high = d3.mean(y_high)","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1327,"value":"meanprob_grid = {\n const lambdaGrid = d3.range(1, 10, 0.01);\n const data2 = lambdaGrid.map(lambda => ({lambda: lambda, geomean: geomean_like(y, lambda)}));\n return data2;\n}\n","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1548,"value":"regdata = ebaydata.map(d => ({y: d.NBidders, x: d.ReservePriceFrac}))","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1510,"value":"ebaydata_reg = addColumn(ebaydata, 'lambda', row => Math.exp(beta[0] + beta[1]*row['ReservePriceFrac']))","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1477,"value":"lambda_grid = d3.range(0, 2, 0.01).map(x => ({ReservePriceFrac: x, lambda: Math.exp(beta[0] + beta[1]*x)}))","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1809,"value":"lambda_ml_grid = d3.range(0, 2, 0.01).map(x => ({ReservePriceFrac: x, lambda: Math.exp(ml_beta[0] + ml_beta[1]*x)}))","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1937,"value":"lambda_ml_grid_two = {\n var lambda_ml_grid_two;\n lambda_ml_grid_two = d3.range(0, reserve_threshold, 0.01).map(x => ({ReservePriceFrac: x, lambda: mle, reserveprice: \"low\"}));\n return lambda_ml_grid_two.concat(d3.range(reserve_threshold + 0.01, 2, 0.01).map(x => ({ReservePriceFrac: x, lambda: mle_high, reserveprice: \"high\"})))\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1775,"value":"ml_pois_reg = function(data){\n var fnc = function(param){\n return -geomean_like_reg(data, param);\n }\n const optres = optimjs.minimize_Powell(fnc, [0,0]);\n return optres.argument\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1800,"value":"ml_beta = ml_pois_reg(regdata)","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":961,"value":"#### Functions","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined"},{"id":849,"value":"function geomean_like(data, param){\n const probs = data.map(x => (Math.exp(-param)*param**x)/mathjs.factorial(x));\n const logprobs = probs.map(d => Math.log(d))\n return Math.exp(mathjs.mean(logprobs))\n}","pinned":true,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1522,"value":"function geomean_like_reg(data, beta){\n const probs = data.map(d => (Math.exp(-Math.exp(beta[0] + beta[1]*d.x))*Math.exp(beta[0] + beta[1]*d.x)**d.y)/mathjs.factorial(d.y));\n const logprobs = probs.map(d => Math.log(d))\n return Math.exp(mathjs.mean(logprobs))\n}","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":1578,"value":"$2f","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"},{"id":229,"value":"#### Style","pinned":false,"hidden":false,"mode":"md","author":"$undefined","summary":"$undefined"},{"id":202,"value":"","pinned":false,"hidden":false,"mode":"html","author":"$undefined","summary":"$undefined"},{"id":58,"value":"viewof md_colour = Inputs.color({label: \"Highlight color cells\", value: \"#F5F5DC\"})","pinned":false,"hidden":false,"mode":"ojs","author":"$undefined","summary":"$undefined"}],"files":"$W30","stdlib":"1","titling":"auto"}} 28:"$27:body"