Causal Inference 1

import%20marimo%0A%0A__generated_with%20%3D%20%220.17.6%22%0Aapp%20%3D%20marimo.App()%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20pandas%20as%20pd%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20math%0A%20%20%20%20import%20plotly.express%20as%20px%0A%20%20%20%20import%20statsmodels.api%20as%20sm%0A%20%20%20%20from%20scipy%20import%20stats%0A%20%20%20%20return%20math%2C%20mo%2C%20np%2C%20pd%2C%20px%2C%20sm%2C%20stats%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20nav_menu%20%3D%20mo.nav_menu(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%2Findex.html%22%3A%20f%22%7Bmo.icon('lucide%3Ahome')%7D%20Home%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20orientation%3D%22vertical%22%2C%0A%20%20%20%20)%0A%20%20%20%20nav_menu%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Dataset%20Description%0A%0A%20%20%20%20This%20dataset%20comes%20from%20an%20A%2FB%20test%20in%20a%20mobile%20puzzle%20game.%20The%20experiment%20tested%20whether%20moving%20a%20progression%20gate%20from%20level%2030%20(control)%20to%20level%2040%20(treatment)%20affects%20player%20behavior.%20Each%20row%20represents%20a%20unique%20player%20with%20the%20following%20features%3A%0A%0A%20%20%20%20-%20%60userid%60%3A%20Unique%20identifier.%0A%20%20%20%20-%20%60version%60%3A%20Group%20assignment%20(gate_30%20vs.%20gate_40).%0A%20%20%20%20-%20%60sum_gamerounds%60%3A%20Total%20rounds%20played%20in%20the%20first%2014%20days.%0A%20%20%20%20-%20%60retention_1%60%3A%20Returned%20after%201%20day%20(1%2F0).%0A%20%20%20%20-%20%60retention_7%60%3A%20Returned%20after%207%20days%20(1%2F0).%0A%0A%20%20%20%20%23%23%20Objective%0A%0A%20%20%20%20The%20goal%20is%20to%20assess%20whether%20shifting%20the%20gate%20impacts%20engagement%20(rounds%20played)%2C%20short-term%20retention%20(day-1%20return)%2C%20and%20long-term%20retention%20(day-7%20return).%20Retention%20is%20critical%20for%20mobile%20games%3A%20even%20small%20lifts%20can%20translate%20into%20large%20revenue%20gains.%20This%20analysis%20shows%20how%20causal%20inference%20and%20A%2FB%20testing%20guide%20product%20decisions%2C%20such%20as%20whether%20to%20keep%20the%20gate%20at%20level%2030%20or%20move%20it%20to%2040.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Basic%20Preparation%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20pd)%3A%0A%20%20%20%20df%20%3D%20pd.read_csv(mo.notebook_location()%20%2F%20%22public%22%20%2F%20%22cookie_cats.csv%22)%0A%20%20%20%20return%20(df%2C)%0A%0A%0A%40app.cell%0Adef%20_(df)%3A%0A%20%20%20%20df.head()%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df)%3A%0A%20%20%20%20df.describe()%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df)%3A%0A%20%20%20%20df.isna().sum()%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df)%3A%0A%20%20%20%20df.duplicated(%22userid%22).sum()%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20There's%20no%20null%20value%20and%20there's%20no%20duplicated%20user%20id.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20A%20Quick%20Look%20at%20Grouped%20Data%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df)%3A%0A%20%20%20%20df.groupby(%22version%22%2C%20as_index%3DFalse).agg(%0A%20%20%20%20%20%20%20%20sum_gamerounds_mean%3D(%22sum_gamerounds%22%2C%20%22mean%22)%2C%0A%20%20%20%20%20%20%20%20sum_gamerounds_median%3D(%22sum_gamerounds%22%2C%20%22median%22)%2C%0A%20%20%20%20%20%20%20%20sum_gamerounds_std%3D(%22sum_gamerounds%22%2C%20%22std%22)%2C%0A%20%20%20%20%20%20%20%20sum_gamerounds_min%3D(%22sum_gamerounds%22%2C%20%22min%22)%2C%0A%20%20%20%20%20%20%20%20sum_gamerounds_max%3D(%22sum_gamerounds%22%2C%20%22max%22)%2C%0A%20%20%20%20%20%20%20%20retention_1_mean%3D(%22retention_1%22%2C%20%22mean%22)%2C%0A%20%20%20%20%20%20%20%20retention_7_mean%3D(%22retention_7%22%2C%20%22mean%22)%2C%0A%20%20%20%20%20%20%20%20count%3D(%22userid%22%2C%20%22count%22)%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Some%20observations%3A%0A%0A%20%20%20%20-%20Group%20sizes%3A%20Slight%20imbalance%20(44700%20vs%2045489)%20and%20can%20be%20ignored%20in%20our%20case.%20In%20general%20a%20useful%20way%20to%20assess%20this%20is%20via%20the%20variance%20inflation%20factor%20(VIF)%20for%20the%20group%20indicator%20defined%20as%20%24%5Ctext%7BVIF%7D%20%3D%20%5Cfrac%7B1%7D%7Bp(1-p)%7D%24%2C%20where%20%24p%20%3D%20%5Cfrac%7BN_%7B%5Ctext%7Bgroup%201%7D%7D%7D%7BN_%7B%5Ctext%7Bgroup%201%7D%2BN_%7B%5Ctext%7Bgroup%202%7D%7D%7D%7D%24.%20Our%20data%20gives%20a%20VIF%20about%204.0003%2C%20very%20close%20to%20the%20ideal%20value%20of%20%244%20%3D%20%5Cfrac%7B1%7D%7B0.5%20%5Ccdot%200.5%7D%24%20for%20a%2050%2F50%20design.%20Thus%2C%20the%20imbalance%20is%20negligible.%0A%20%20%20%20-%20Retention%3A%20gating%20at%2040%20shows%20slightly%20lower%20day-1%20and%20day-7%20retention.%20With%20this%20sample%20size%2C%20even%20small%20differences%20are%20likely%20statistically%20significant%2C%20but%20practical%20impact%20needs%20consideration.%0A%20%20%20%20-%20Engagement%20skew%3A%20%60sum_gamerounds%60%20distributions%20are%20highly%20skewed.%20Means%20are%20far%20above%20medians%2C%20and%20maximum%20values%20(49854%20and%202640)%20suggest%20extreme%20outliers.%0A%20%20%20%20-%20Variance%20imbalance%3A%20Standard%20deviation%20is%20much%20larger%20for%20gate_30%20than%20gate_40%2C%20suggesting%20heteroskedasticity.%20This%20affects%20choice%20of%20statistical%20test%20(e.g.%2C%20Welch%E2%80%99s%20t-test%20vs.%20regular%20t-test).%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df%2C%20mo%2C%20px)%3A%0A%20%20%20%20fig_1%20%3D%20px.box(%0A%20%20%20%20%20%20%20%20df%2C%0A%20%20%20%20%20%20%20%20x%3D%22version%22%2C%0A%20%20%20%20%20%20%20%20y%3D%22sum_gamerounds%22%2C%0A%20%20%20%20%20%20%20%20points%3D%22outliers%22%2C%20%20%23%20only%20show%20outlier%20points%20beyond%20whiskers%0A%20%20%20%20%20%20%20%20title%3D%22Boxplot%20of%20Game%20Rounds%20by%20Group%20(gate_30%20vs%20gate_40)%22%2C%0A%20%20%20%20%20%20%20%20labels%3D%7B%22version%22%3A%20%22Group%22%2C%20%22sum_gamerounds%22%3A%20%22Total%20Rounds%20Played%22%7D%2C%0A%20%20%20%20)%0A%0A%20%20%20%20fig_1.update_layout(%0A%20%20%20%20%20%20%20%20height%3D500%2C%20yaxis_title%3D%22sum_gamerounds%22%2C%20xaxis_title%3D%22version%22%0A%20%20%20%20)%0A%0A%20%20%20%20plot_1%20%3D%20mo.ui.plotly(fig_1)%0A%20%20%20%20plot_1%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Outlier%20Removal%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df%2C%20mo%2C%20pd%2C%20px)%3A%0A%20%20%20%20%23%20Winsorize%20at%20the%2099th%20percentile%20within%20each%20group%0A%20%20%20%20df_winsor%20%3D%20df.copy()%0A%20%20%20%20df_winsor%5B%22sum_gamerounds%22%5D%20%3D%20df_winsor%5B%22sum_gamerounds%22%5D.astype(%22float64%22)%0A%0A%20%20%20%20for%20v%20in%20df_winsor%5B%22version%22%5D.unique()%3A%0A%20%20%20%20%20%20%20%20cutoff%20%3D%20df_winsor.loc%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20df_winsor%5B%22version%22%5D%20%3D%3D%20v%2C%20%22sum_gamerounds%22%0A%20%20%20%20%20%20%20%20%5D.quantile(0.99)%0A%20%20%20%20%20%20%20%20mask%20%3D%20df_winsor%5B%22version%22%5D%20%3D%3D%20v%0A%20%20%20%20%20%20%20%20df_winsor.loc%5Bmask%2C%20%22sum_gamerounds%22%5D%20%3D%20df_winsor.loc%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mask%2C%20%22sum_gamerounds%22%0A%20%20%20%20%20%20%20%20%5D.clip(upper%3Dcutoff)%0A%0A%20%20%20%20%23%20Optional%3A%20round%20%26%20cast%20back%20to%20integer%0A%20%20%20%20df_winsor%5B%22sum_gamerounds%22%5D%20%3D%20(%0A%20%20%20%20%20%20%20%20df_winsor%5B%22sum_gamerounds%22%5D.round().astype(%22Int64%22)%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Add%20dataset%20labels%0A%20%20%20%20df_raw%20%3D%20df.copy()%0A%20%20%20%20df_raw%5B%22dataset%22%5D%20%3D%20%22Before%20Winsorization%22%0A%20%20%20%20df_winsor%5B%22dataset%22%5D%20%3D%20%22After%20Winsorization%22%0A%0A%20%20%20%20df_compare%20%3D%20pd.concat(%5Bdf_raw%2C%20df_winsor%5D%2C%20ignore_index%3DTrue)%0A%0A%20%20%20%20%23%20Plot%0A%20%20%20%20fig_2%20%3D%20px.histogram(%0A%20%20%20%20%20%20%20%20df_compare%2C%0A%20%20%20%20%20%20%20%20x%3D%22sum_gamerounds%22%2C%0A%20%20%20%20%20%20%20%20color%3D%22version%22%2C%0A%20%20%20%20%20%20%20%20facet_row%3D%22dataset%22%2C%0A%20%20%20%20%20%20%20%20barmode%3D%22overlay%22%2C%0A%20%20%20%20%20%20%20%20opacity%3D0.7%2C%0A%20%20%20%20%20%20%20%20title%3D%22Distribution%20of%20Game%20Rounds%3A%20Before%20vs%20After%20Winsorization%20(99th%20percentile)%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Independent%20x-axis%20scaling%0A%20%20%20%20fig_2.update_xaxes(matches%3DNone)%0A%0A%20%20%20%20%23%20Show%20both%20x-axes%20explicitly%0A%20%20%20%20fig_2.update_xaxes(showticklabels%3DTrue%2C%20row%3D1%2C%20col%3D1)%0A%20%20%20%20fig_2.update_xaxes(showticklabels%3DTrue%2C%20row%3D2%2C%20col%3D1)%0A%0A%20%20%20%20%23%20Clean%20facet%20labels%0A%20%20%20%20fig_2.for_each_annotation(%0A%20%20%20%20%20%20%20%20lambda%20a%3A%20a.update(text%3Da.text.replace(%22dataset%3D%22%2C%20%22%22))%0A%20%20%20%20)%0A%0A%20%20%20%20fig_2.update_layout(height%3D700%2C%20bargap%3D0.05%2C%20legend_title%3D%22Version%22)%0A%0A%20%20%20%20plot_2%20%3D%20mo.ui.plotly(fig_2)%0A%20%20%20%20plot_2%0A%20%20%20%20return%20(df_winsor%2C)%0A%0A%0A%40app.cell%0Adef%20_(df_winsor)%3A%0A%20%20%20%20df_winsor.groupby(%22version%22%2C%20as_index%3DFalse).agg(%0A%20%20%20%20%20%20%20%20sum_gamerounds_mean%3D(%22sum_gamerounds%22%2C%20%22mean%22)%2C%0A%20%20%20%20%20%20%20%20sum_gamerounds_median%3D(%22sum_gamerounds%22%2C%20%22median%22)%2C%0A%20%20%20%20%20%20%20%20sum_gamerounds_std%3D(%22sum_gamerounds%22%2C%20%22std%22)%2C%0A%20%20%20%20%20%20%20%20sum_gamerounds_min%3D(%22sum_gamerounds%22%2C%20%22min%22)%2C%0A%20%20%20%20%20%20%20%20sum_gamerounds_max%3D(%22sum_gamerounds%22%2C%20%22max%22)%2C%0A%20%20%20%20%20%20%20%20retention_1_mean%3D(%22retention_1%22%2C%20%22mean%22)%2C%0A%20%20%20%20%20%20%20%20retention_7_mean%3D(%22retention_7%22%2C%20%22mean%22)%2C%0A%20%20%20%20%20%20%20%20count%3D(%22userid%22%2C%20%22count%22)%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20After%20winsorization%20at%20the%2099th%20percentile%2C%20the%20distribution%20of%20total%20game%20rounds%20played%20has%20become%20much%20more%20stable%3A%20the%20mean%20is%20about%2049%20for%20both%20groups%2C%20the%20medians%20are%2017%20and%2016%2C%20and%20the%20standard%20deviations%20have%20dropped%20to%20around%2084%20from%20the%20highly%20inflated%20values%20in%20the%20raw%20data%20%E2%80%93%20notice%20this%20means%20heteroskedasticity%20is%20also%20mitigated.%20The%20maximum%20values%20are%20now%20around%20493%20and%20492%2C%20a%20sharp%20reduction%20from%20the%20tens%20of%20thousands%20observed%20earlier%2C%20confirming%20that%20the%20extreme%20outliers%20have%20been%20capped.%20Importantly%2C%20retention%20metrics%20are%20unchanged%20by%20this%20adjustment%2C%20with%20day-1%20retention%20at%20roughly%200.448%20vs.%200.442%20and%20day-7%20retention%20at%200.190%20vs.%200.182.%20Overall%2C%20winsorization%20yields%20a%20distribution%20of%20engagement%20that%20is%20more%20comparable%20across%20groups%20and%20easier%20to%20analyze%2C%20while%20the%20slight%20differences%20in%20retention%20remain%20the%20key%20point%20for%20further%20statistical%20testing.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20A%2FB%20Testing%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Metrics%20under%20test%0A%0A%20%20%20%20-%20Primary%3A%20%60retention_7%60%20(long-term%20retention%3B%20binary).%0A%20%20%20%20-%20Secondary%3A%20%60retention_1%60%20(short-term%20retention%3B%20binary)%20and%20%60sum_gamerounds%60%20(engagement%3B%20continuous%2C%20analyzed%20on%20the%20winsorized%20data%20you%20created).%0A%0A%20%20%20%20%23%23%23%20Hypotheses%0A%0A%20%20%20%20All%20tests%20are%20two-sided%20(we%20don%E2%80%99t%20assume%20which%20gate%20is%20better%20a%20priori).%0A%0A%20%20%20%201.%20Day-7%20retention%20(primary)%0A%20%20%20%20%20%20%20%20-%20%24H_0%24%3A%20%24p_%7B40%7D%20%3D%20p_%7B30%7D%24%0A%20%20%20%20%20%20%20%20-%20%24H_1%24%3A%20%24p_%7B40%7D%20%5Cne%20p_%7B30%7D%24%20where%20%24p_%7Bg%7D%24%20is%20the%20probability%20of%20retention%20for%20group%20%24g%5Cin%7B30%2C40%7D%24.%0A%20%20%20%202.%20Day-1%20retention%20(secondary)%0A%20%20%20%20%20%20%20%20-%20%24H_0%24%3A%20%24p_%7B40%7D%20%3D%20p_%7B30%7D%24%0A%20%20%20%20%20%20%20%20-%20%24H_1%24%3A%20%24p_%7B40%7D%20%5Cne%20p_%7B30%7D%24%0A%20%20%20%203.%20Engagement%20(winsorized%20%60sum_gamerounds%60)%0A%20%20%20%20%20%20%20%20-%20%24H_0%24%3A%20%24%5Cmu_%7B40%7D%20%3D%20%5Cmu_%7B30%7D%24%0A%20%20%20%20%20%20%20%20-%20%24H_1%24%3A%20%24%5Cmu_%7B40%7D%20%5Cne%20%5Cmu_%7B30%7D%24%20where%20%24%5Cmu_g%24%20is%20the%20mean%20rounds%20for%20group%20%24g%24.%0A%0A%20%20%20%20%23%23%23%20Tests%20%26%20Why%20These%20Choices%0A%0A%20%20%20%201.%20Retention%20metrics%20(binary)%0A%20%20%20%20Use%20a%20two-sample%20test%20of%20proportions%20(asymptotic%20z-test)%20or%20equivalently%20a%202x2%20chi-square%20test.%20With%20around%2090k%20users%2C%20the%20normal%20approximation%20is%20excellent.%20Report%3A%0A%20%20%20%20%20%20%20%20-%20Effect%20size%3A%20risk%20difference%20%24%5CDelta%20%3D%20p_%7B40%7D-p_%7B30%7D%24%2C%20relative%20lift%20%24p_%7B40%7D%2Fp_%7B30%7D-1%24%2C%20and%20optionally%20the%20odds%20ratio.%0A%20%20%20%20%20%20%20%20-%20Uncertainty%3A%20Wald%20or%20Newcombe%20CIs%20for%20%24%5CDelta%24.%0A%20%20%20%202.%20Engagement%20(continuous%2C%20skewed)%0A%20%20%20%20On%20the%20winsorized%20data%2C%20use%20Welch%E2%80%99s%20t-test%20(allows%20unequal%20variances%20observed%20earlier).%20Also%20report%20a%20non-parametric%20check%20(Mann%E2%80%93Whitney%20U)%20to%20confirm%20robustness.%20Provide%3A%0A%20%20%20%20%20%20%20%20-%20Effect%20size%3A%20mean%20difference%20%24%5Cmu_%7B40%7D-%5Cmu_%7B30%7D%24%20with%2095%25%20CI%2C%20and%20Cliff%E2%80%99s%20delta%20or%20the%20Hodges%E2%80%93Lehmann%20median%20difference%20for%20robustness.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20%60retention_7%60%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df%2C%20math%2C%20np%2C%20sm)%3A%0A%20%20%20%20%23%20Counts%20of%20successes%20and%20totals%0A%20%20%20%20successes_7%20%3D%20np.array(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20df.loc%5Bdf%5B%22version%22%5D%20%3D%3D%20%22gate_30%22%2C%20%22retention_7%22%5D.sum()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20df.loc%5Bdf%5B%22version%22%5D%20%3D%3D%20%22gate_40%22%2C%20%22retention_7%22%5D.sum()%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20totals%20%3D%20np.array(%0A%20%20%20%20%20%20%20%20%5B(df%5B%22version%22%5D%20%3D%3D%20%22gate_30%22).sum()%2C%20(df%5B%22version%22%5D%20%3D%3D%20%22gate_40%22).sum()%5D%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Two-proportion%20z-test%0A%20%20%20%20zstat_7%2C%20pval_7%20%3D%20sm.stats.proportions_ztest(successes_7%2C%20totals)%0A%20%20%20%20confint_30_7%20%3D%20sm.stats.proportion_confint(%0A%20%20%20%20%20%20%20%20successes_7%5B0%5D%2C%20totals%5B0%5D%2C%20method%3D%22normal%22%0A%20%20%20%20)%0A%20%20%20%20confint_40_7%20%3D%20sm.stats.proportion_confint(%0A%20%20%20%20%20%20%20%20successes_7%5B1%5D%2C%20totals%5B1%5D%2C%20method%3D%22normal%22%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Effect%20sizes%0A%20%20%20%20p_30_7%2C%20p_40_7%20%3D%20successes_7%20%2F%20totals%0A%20%20%20%20risk_diff_7%20%3D%20p_40_7%20-%20p_30_7%0A%20%20%20%20relative_lift_7%20%3D%20p_40_7%20%2F%20p_30_7%20-%201%0A%0A%0A%20%20%20%20def%20cohens_h(p1%2C%20p2)%3A%0A%20%20%20%20%20%20%20%20%23%20signed%20difference%20on%20arcsine%20scale%0A%20%20%20%20%20%20%20%20return%202%20*%20(math.asin(math.sqrt(p1))%20-%20math.asin(math.sqrt(p2)))%0A%0A%0A%20%20%20%20h_7%20%3D%20abs(cohens_h(p_40_7%2C%20p_30_7))%20%20%23%20%3C-%20report%20magnitude%0A%0A%20%20%20%20print(%22Retention_7%20A%2FB%20Test%20(gate_30%20vs%20gate_40)%22)%0A%20%20%20%20print(%22-%22%20*%2060)%0A%20%20%20%20print(%0A%20%20%20%20%20%20%20%20f%22gate_30%3A%20%7Bsuccesses_7%5B0%5D%7D%20%2F%20%7Btotals%5B0%5D%7D%20%3D%20%7Bp_30_7%3A.3%25%7D%20%22%0A%20%20%20%20%20%20%20%20f%22(95%25%20CI%3A%20%7Bconfint_30_7%5B0%5D%3A.3%25%7D%20%E2%80%93%20%7Bconfint_30_7%5B1%5D%3A.3%25%7D)%22%0A%20%20%20%20)%0A%20%20%20%20print(%0A%20%20%20%20%20%20%20%20f%22gate_40%3A%20%7Bsuccesses_7%5B1%5D%7D%20%2F%20%7Btotals%5B1%5D%7D%20%3D%20%7Bp_40_7%3A.3%25%7D%20%22%0A%20%20%20%20%20%20%20%20f%22(95%25%20CI%3A%20%7Bconfint_40_7%5B0%5D%3A.3%25%7D%20%E2%80%93%20%7Bconfint_40_7%5B1%5D%3A.3%25%7D)%22%0A%20%20%20%20)%0A%20%20%20%20print()%0A%20%20%20%20print(f%22Risk%20difference%20(gate_40%20-%20gate_30)%3A%20%7Brisk_diff_7%3A.3%25%7D%22)%0A%20%20%20%20print(f%22Relative%20lift%3A%20%7Brelative_lift_7%3A.2%25%7D%22)%0A%20%20%20%20print(f%22Cohen's%20h%3A%20%7Bh_7%3A.3f%7D%20(~0.2%20small%2C%20~0.5%20medium%2C%20~0.8%20large)%22)%0A%20%20%20%20print()%0A%20%20%20%20print(f%22Z-statistic%20%3D%20%7Bzstat_7%3A.3f%7D%2C%20p-value%20%3D%20%7Bpval_7%3A.4g%7D%22)%0A%20%20%20%20if%20pval_7%20%3C%200.05%3A%0A%20%20%20%20%20%20%20%20print(%22Result%3A%20Statistically%20significant%20difference%20in%207-day%20retention.%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20print(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Result%3A%20No%20statistically%20significant%20difference%20in%207-day%20retention.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20return%20cohens_h%2C%20totals%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20-%20The%20negative%20risk%20difference%20and%20relative%20lift%20show%20that%20retention%20is%20lower%20when%20the%20gate%20is%20moved%20to%20level%2040%2C%20suggesting%20that%20players%20are%20slightly%20less%20likely%20to%20return%20after%20a%20week.%0A%20%20%20%20-%20The%20result%20is%20statistically%20significant%2C%20meaning%20the%20drop%20is%20unlikely%20to%20be%20due%20to%20random%20variation%20in%20assignment.%0A%20%20%20%20-%20However%2C%20the%20effect%20size%20is%20very%20small%20(h%20%3D%200.021)%2C%20so%20in%20behavioral%20terms%2C%20the%20change%20has%20little%20practical%20impact.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20%60retention_1%60%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(cohens_h%2C%20df%2C%20np%2C%20sm%2C%20totals)%3A%0A%20%20%20%20%23%20Counts%20of%20successes%20and%20totals%0A%20%20%20%20successes_1%20%3D%20np.array(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20df.loc%5Bdf%5B%22version%22%5D%20%3D%3D%20%22gate_30%22%2C%20%22retention_1%22%5D.sum()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20df.loc%5Bdf%5B%22version%22%5D%20%3D%3D%20%22gate_40%22%2C%20%22retention_1%22%5D.sum()%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Two-proportion%20z-test%0A%20%20%20%20zstat_1%2C%20pval_1%20%3D%20sm.stats.proportions_ztest(successes_1%2C%20totals)%0A%20%20%20%20confint_30_1%20%3D%20sm.stats.proportion_confint(%0A%20%20%20%20%20%20%20%20successes_1%5B0%5D%2C%20totals%5B0%5D%2C%20method%3D%22normal%22%0A%20%20%20%20)%0A%20%20%20%20confint_40_1%20%3D%20sm.stats.proportion_confint(%0A%20%20%20%20%20%20%20%20successes_1%5B1%5D%2C%20totals%5B1%5D%2C%20method%3D%22normal%22%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Effect%20sizes%0A%20%20%20%20p_30_1%2C%20p_40_1%20%3D%20successes_1%20%2F%20totals%0A%20%20%20%20risk_diff_1%20%3D%20p_40_1%20-%20p_30_1%0A%20%20%20%20relative_lift_1%20%3D%20p_40_1%20%2F%20p_30_1%20-%201%0A%0A%20%20%20%20h_1%20%3D%20abs(cohens_h(p_40_1%2C%20p_30_1))%20%20%23%20%3C-%20report%20magnitude%0A%0A%20%20%20%20print(%22Retention_1%20A%2FB%20Test%20(gate_30%20vs%20gate_40)%22)%0A%20%20%20%20print(%22-%22%20*%2060)%0A%20%20%20%20print(%0A%20%20%20%20%20%20%20%20f%22gate_30%3A%20%7Bsuccesses_1%5B0%5D%7D%20%2F%20%7Btotals%5B0%5D%7D%20%3D%20%7Bp_30_1%3A.3%25%7D%20%22%0A%20%20%20%20%20%20%20%20f%22(95%25%20CI%3A%20%7Bconfint_30_1%5B0%5D%3A.3%25%7D%20%E2%80%93%20%7Bconfint_30_1%5B1%5D%3A.3%25%7D)%22%0A%20%20%20%20)%0A%20%20%20%20print(%0A%20%20%20%20%20%20%20%20f%22gate_40%3A%20%7Bsuccesses_1%5B1%5D%7D%20%2F%20%7Btotals%5B1%5D%7D%20%3D%20%7Bp_40_1%3A.3%25%7D%20%22%0A%20%20%20%20%20%20%20%20f%22(95%25%20CI%3A%20%7Bconfint_40_1%5B0%5D%3A.3%25%7D%20%E2%80%93%20%7Bconfint_40_1%5B1%5D%3A.3%25%7D)%22%0A%20%20%20%20)%0A%20%20%20%20print()%0A%20%20%20%20print(f%22Risk%20difference%20(gate_40%20-%20gate_30)%3A%20%7Brisk_diff_1%3A.3%25%7D%22)%0A%20%20%20%20print(f%22Relative%20lift%3A%20%7Brelative_lift_1%3A.2%25%7D%22)%0A%20%20%20%20print(f%22Cohen's%20h%3A%20%7Bh_1%3A.3f%7D%20(~0.2%20small%2C%20~0.5%20medium%2C%20~0.8%20large)%22)%0A%20%20%20%20print()%0A%20%20%20%20print(f%22Z-statistic%20%3D%20%7Bzstat_1%3A.3f%7D%2C%20p-value%20%3D%20%7Bpval_1%3A.4g%7D%22)%0A%20%20%20%20if%20pval_1%20%3C%200.05%3A%0A%20%20%20%20%20%20%20%20print(%22Result%3A%20Statistically%20significant%20difference%20in%201-day%20retention.%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20print(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Result%3A%20No%20statistically%20significant%20difference%20in%201-day%20retention.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20The%20day-1%20retention%20difference%20between%20groups%20is%20small%20and%20not%20statistically%20significant%2C%20meaning%20we%20cannot%20rule%20out%20random%20variation%20as%20the%20cause.%20Even%20if%20real%2C%20the%20effect%20is%20tiny%20in%20magnitude%20and%20unlikely%20to%20have%20meaningful%20business%20impact.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20%60sum_gamerounds%60%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df_winsor%2C%20np%2C%20sm%2C%20stats)%3A%0A%20%20%20%20%23%20Split%20groups%0A%20%20%20%20g30%20%3D%20df_winsor.loc%5Bdf_winsor%5B%22version%22%5D%20%3D%3D%20%22gate_30%22%2C%20%22sum_gamerounds%22%5D%0A%20%20%20%20g40%20%3D%20df_winsor.loc%5Bdf_winsor%5B%22version%22%5D%20%3D%3D%20%22gate_40%22%2C%20%22sum_gamerounds%22%5D%0A%0A%20%20%20%20%23%20Welch%E2%80%99s%20t-test%20(from%20statsmodels)%0A%20%20%20%20tstat%2C%20pval_t%2C%20dfree%20%3D%20sm.stats.ttest_ind(g30%2C%20g40%2C%20usevar%3D%22unequal%22)%0A%0A%20%20%20%20%23%20Mann%E2%80%93Whitney%20U%20test%20(non-parametric%2C%20insensitive%20to%20normality%20assumption)%0A%20%20%20%20u_stat%2C%20pval_u%20%3D%20stats.mannwhitneyu(g30%2C%20g40%2C%20alternative%3D%22two-sided%22)%0A%0A%20%20%20%20%23%20Summary%20stats%0A%20%20%20%20mean30%2C%20mean40%20%3D%20g30.mean()%2C%20g40.mean()%0A%20%20%20%20median30%2C%20median40%20%3D%20g30.median()%2C%20g40.median()%0A%20%20%20%20std30%2C%20std40%20%3D%20g30.std()%2C%20g40.std()%0A%0A%20%20%20%20%23%20Effect%20size%3A%20Cohen%E2%80%99s%20d%20(Welch%20version)%0A%20%20%20%20nx%2C%20ny%20%3D%20len(g30)%2C%20len(g40)%0A%20%20%20%20pooled_sd%20%3D%20np.sqrt(((std30**2)%20%2F%20nx%20%2B%20(std40**2)%20%2F%20ny))%0A%20%20%20%20cohen_d%20%3D%20(mean40%20-%20mean30)%20%2F%20pooled_sd%0A%0A%20%20%20%20print(%22Sum_gamerounds%20A%2FB%20Test%20(gate_30%20vs%20gate_40)%22)%0A%20%20%20%20print(%22-%22%20*%2060)%0A%20%20%20%20print(%0A%20%20%20%20%20%20%20%20f%22gate_30%3A%20mean%3D%7Bmean30%3A.3f%7D%2C%20median%3D%7Bmedian30%7D%2C%20std%3D%7Bstd30%3A.3f%7D%2C%20n%3D%7Bnx%7D%22%0A%20%20%20%20)%0A%20%20%20%20print(%0A%20%20%20%20%20%20%20%20f%22gate_40%3A%20mean%3D%7Bmean40%3A.3f%7D%2C%20median%3D%7Bmedian40%7D%2C%20std%3D%7Bstd40%3A.3f%7D%2C%20n%3D%7Bny%7D%22%0A%20%20%20%20)%0A%20%20%20%20print()%0A%20%20%20%20print(f%22Mean%20difference%20(gate_40%20-%20gate_30)%3A%20%7Bmean40%20-%20mean30%3A.3f%7D%22)%0A%20%20%20%20print(f%22Cohen's%20d%3A%20%7Bcohen_d%3A.3f%7D%20(~0.2%20small%2C%20~0.5%20medium%2C%20~0.8%20large)%22)%0A%20%20%20%20print()%0A%20%20%20%20print(%0A%20%20%20%20%20%20%20%20f%22Welch%E2%80%99s%20t-test%3A%20t%20%3D%20%7Btstat%3A.3f%7D%2C%20df%20%3D%20%7Bdfree%3A.1f%7D%2C%20p-value%20%3D%20%7Bpval_t%3A.4g%7D%22%0A%20%20%20%20)%0A%20%20%20%20print(f%22Mann%E2%80%93Whitney%20U%20test%3A%20U%20%3D%20%7Bu_stat%3A.0f%7D%2C%20p-value%20%3D%20%7Bpval_u%3A.4g%7D%22)%0A%20%20%20%20if%20pval_t%20%3C%200.05%20or%20pval_u%20%3C%200.05%3A%0A%20%20%20%20%20%20%20%20print(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Result%3A%20Statistically%20significant%20difference%20in%20average%20game%20rounds.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20print(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Result%3A%20No%20statistically%20significant%20difference%20in%20average%20game%20rounds.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20-%20Descriptives%3A%20Both%20groups%20play%20about%20the%20same%20number%20of%20rounds%20on%20average%20(49.1%20vs.%2048.8)%20and%20have%20nearly%20identical%20medians%20(17%20vs.%2016).%20Standard%20deviations%20are%20also%20very%20close%20(~84)%2C%20showing%20no%20meaningful%20dispersion%20difference%20after%20winsorization.%0A%20%20%20%20-%20Welch%E2%80%99s%20t-test%3A%20The%20mean%20difference%20of%20%E2%80%930.29%20rounds%20is%20tiny%20and%20not%20statistically%20significant%20(%24p%20%5Capprox%200.60%24).%20On%20the%20level%20of%20means%2C%20there%20is%20no%20evidence%20that%20gate%20placement%20affects%20engagement.%0A%20%20%20%20-%20Mann%E2%80%93Whitney%20U%3A%20The%20U%20test%20finds%20a%20marginally%20significant%20difference%20(%24p%20%5Capprox%200.047%24)%2C%20but%20given%20the%20huge%20sample%20size%2C%20even%20trivial%20distributional%20shifts%20can%20become%20significant.%20The%20estimated%20effect%20size%20is%20negligible.%0A%20%20%20%20-%20Interpretation%3A%20Taken%20together%2C%20the%20evidence%20suggests%20no%20practically%20meaningful%20difference%20in%20engagement%20between%20gate_30%20and%20gate_40.%20The%20apparent%20%E2%80%9Csignificance%E2%80%9D%20from%20U%20test%20is%20likely%20an%20artifact%20of%20sample%20size%20and%20rounding%2Fties%2C%20not%20a%20signal%20of%20real%20behavioral%20change.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Analysis%20and%20Conclusion%0A%0A%20%20%20%20Across%20all%20three%20metrics%2C%20the%20experiment%20shows%20that%20moving%20the%20progression%20gate%20from%20level%2030%20to%20level%2040%20does%20not%20improve%20player%20outcomes.%0A%0A%20%20%20%20-%20%60retention_7%60%20(primary%20metric)%3A%20Players%20in%20the%20gate_40%20group%20had%20lower%207-day%20retention%20(18.2%25%20vs.%2019.0%25)%2C%20a%20small%20but%20statistically%20significant%20decline.%20Even%20though%20the%20effect%20size%20is%20tiny%2C%20at%20scale%20this%20could%20mean%20thousands%20fewer%20returning%20players.%0A%20%20%20%20-%20%60retention_1%60%3A%20The%20day-1%20retention%20difference%20(44.2%25%20vs.%2044.8%25)%20was%20small%20and%20not%20statistically%20significant%2C%20indicating%20no%20clear%20effect%20on%20short-term%20engagement.%0A%20%20%20%20-%20%60sum_gamerounds%60%3A%20Both%20groups%20played%20nearly%20the%20same%20number%20of%20rounds%20(means%20~49)%2C%20with%20no%20practically%20meaningful%20difference%20after%20handling%20outliers.%0A%0A%20%20%20%20Conclusion%3A%20Shifting%20the%20gate%20later%20in%20progression%20slightly%20reduces%20long-term%20retention%20while%20leaving%20short-term%20retention%20and%20engagement%20unchanged.%20From%20a%20business%20perspective%2C%20**the%20reasonable%20choice%20is%20to%20keep%20the%20gate%20at%20level%2030**.%0A%0A%20%20%20%20A%20possible%20explanation%20is%20that%20players%20who%20encounter%20the%20gate%20earlier%20(level%2030)%20get%20an%20earlier%20%E2%80%9Cmilestone%20moment%E2%80%9D%20that%20anchors%20commitment%20and%20motivates%20continued%20play.%20Delaying%20that%20milestone%20to%20level%2040%20may%20make%20the%20early%20game%20feel%20less%20structured%2C%20reducing%20the%20likelihood%20of%20returning%20after%20the%20novelty%20wears%20off.%20Another%20interpretation%20is%20that%20the%20later%20gate%20reduces%20friction%20too%20much%2C%20so%20players%20churn%20naturally%20before%20ever%20reaching%20it.%20This%20is%20known%20as%20the%20Hedonic%20adaptation%20in%20behavioral%20science.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A