[prev in list] [next in list] [prev in thread] [next in thread]
List: r-sig-mixed-models
Subject: Re: [R-sig-ME] choice of reference category only changes coefficient with uncorrelated random interc
From: Peter Dalgaard <pdalgd () gmail ! com>
Date: 2017-09-13 21:51:03
Message-ID: 18CBE0D7-B32F-4C64-A82B-D6CAA9A612CD () gmail ! com
[Download RAW message or body]
> On 13 Sep 2017, at 22:24 , Emmanuel Curis <emmanuel.curis@parisdescartes.fr> wrote:
>
> Thanks for the explaination.
>
> If I understand correctly, the existence of an uncorrelatedness point
> is somehow "an accident" and this point has no special meaning, so
> constraining it by design to a special value (in general 0, but could
> be something else by fixing the correlation between slope and
> intercept) makes in general little sense. Is it that?
>
Yes. Maybe add "usually" somewhere in that.
-pd
> Best regards,
>
> On Wed, Sep 13, 2017 at 06:31:49PM +0200, Peter Dalgaard wrote:
> «
> « > On 13 Sep 2017, at 17:52 , Emmanuel Curis <emmanuel.curis@parisdescartes.fr> \
> wrote: « >
> « > Hi,
> « >
> « > I may be slow or missing something, but I do not clearly understand
> « > the first point.
> « >
> « > I mean, even if slope and intercept are correlated, there will be
> « > dependance between the slope and the value (cov(beta, alpha + beta*x)
> « > = cov(alpha,beta) + x*V(beta)), and there still will be a special
> « > point where there is uncorrelation (for x = -cov(alpha,beta)/V(beta)).
> « >
> « > So I don't see why it's less weird than the model without correlation,
> « > there's just an additional assumption on the location of this special
> « > point — which of course may be or not sensible depending on the
> « > interpretation of x.
> « >
> « > Am I missing something crucial?
> «
> « Not really, and notice that I said "kind of" weird. The weirdness (or not) is \
> exactly the assumption that point of uncorrelatedness falls at x==0. This can make \
> sense - the change due to treatment can be independent of initial value, for \
> instance. In other cases, it makes no sense at all, like when the intercept refers \
> to the value for a 0 kg adult male. «
> « (In older times, these discussions came up for balanced-data random coefficient \
> regression, where each subject has measurements at x1, ..., xn. You might get the \
> idea of splitting data into the average and the empirical slope for each person, \
> because they are uncorrelated if slope and intercept are considered fixed effects. \
> You might then move on to parametrizing the model as Yij = Ai + Bi (xj - xbar) and \
> assume that Ai and Bi are also independent. This has neat technical properties, but \
> the model is generally unrealistic, e.g. the minimum variance of Y occurs exactly \
> at xbar, which depends on the chosen design points.) «
> « -pd
> «
> «
> « >
> « > On Wed, Sep 13, 2017 at 03:35:50PM +0200, peter dalgaard wrote:
> « > « Just stumbled over this thread, but it seems pretty obvious to me: A model \
> where slope and intercept are independent will not have independence between the \
> slope and the value anywhere else on the line (cov(beta,alpha+beta*x) = x*V(beta)). \
> This is why that model is kind of weird... « > «
> « > « In particular, shifting the x-axis, thus changing the definition of the \
> intercept will make the variance model substantially different in the independence \
> case. If intercept and slope are correlated, you just get the same model \
> parametrized differently. « > «
> « > « -pd
> « > «
> « > « > On 12 Sep 2017, at 23:08 , Fox, John <jfox@mcmaster.ca> wrote:
> « > « >
> « > « > Dear David and Ben,
> « > « >
> « > « > I haven't worked out the implications specifically, but even in a linear \
> model fit by least-squares, with no constraints on the inter-coefficient \
> correlations, the correlation between the coefficients is influenced by the choice \
> of reference level for a factor. That suggests to me that constraining the \
> correlation to zero would affect the coefficients. « > « >
> « > « > As I said, this is far short of a proof, but the result seems intuitively \
> plausible. « > « >
> « > « > Best,
> « > « > John
> « > « >
> « > « > --------------------------------------
> « > « > John Fox, Professor Emeritus
> « > « > McMaster University
> « > « > Hamilton, Ontario, Canada
> « > « > Web: socserv.mcmaster.ca/jfox
> « > « >
> « > « >
> « > « >
> « > « >> -----Original Message-----
> « > « >> From: R-sig-mixed-models [mailto:r-sig-mixed-models-bounces@r-
> « > « >> project.org] On Behalf Of David Sidhu
> « > « >> Sent: Friday, September 8, 2017 8:19 PM
> « > « >> To: Ben Bolker <bbolker@gmail.com>
> « > « >> Cc: r-sig-mixed-models@r-project.org
> « > « >> Subject: Re: [R-sig-ME] choice of reference category only changes
> « > « >> coefficient with uncorrelated random intercept and slope
> « > « >>
> « > « >> Hi Ben
> « > « >>
> « > « >> Thanks for the reply.
> « > « >> Just to follow up, I tried running an lmer instead of a glmer and the
> « > « >> same thing happens: when a random slope and intercept are uncorrelated,
> « > « >> the choice of the reference category affects the absolutely value of
> « > « >> that predictor's coefficient.
> « > « >>
> « > « >> Dave
> « > « >>
> « > « >> ---
> « > « >> David M. Sidhu, MSc<http://davidmsidhu.com/> PhD Candidate Department of
> « > « >> Psychology University of Calgary
> « > « >>
> « > « >>
> « > « >>
> « > « >>
> « > « >>
> « > « >>
> « > « >> On Sep 8, 2017, at 12:04 PM, Ben Bolker
> « > « >> <bbolker@gmail.com<mailto:bbolker@gmail.com>> wrote:
> « > « >>
> « > « >> Not sure, but ...
> « > « >>
> « > « >> I think this is real. (If I were going to pursue it further I would
> « > « >> probably try running some simulations.) I think the asymmetry you're
> « > « >> seeing is most likely related to the nonlinearity inherent in a GLMM; if
> « > « >> that's true, then the effect should go away if you were using a LMM
> « > « >> instead of a GLMM ...
> « > « >>
> « > « >>
> « > « >> On Tue, Sep 5, 2017 at 7:45 PM, David Sidhu
> « > « >> <dsidhu@ucalgary.ca<mailto:dsidhu@ucalgary.ca>> wrote:
> « > « >>
> « > « >> Hi Everyone
> « > « >>
> « > « >> I have noticed something strange...
> « > « >>
> « > « >> I am running a glmer with a single dichotomous predictor (coded 1/0).
> « > « >> The model also includes a random subject intercept, as well as a random
> « > « >> item intercept and slope.
> « > « >>
> « > « >> Changing which level of the predictor serves as the reference category
> « > « >> doesn't change the absolute value of the coefficient, EXCEPT when the
> « > « >> random intercept and slope are uncorrelated.
> « > « >>
> « > « >> This happens whether I keep the predictor as a numeric variable, or
> « > « >> change the predictor into a factor and use the following code:
> « > « >>
> « > « >> t1<-glmer(DV~IV+(1|PPT)+(0+dummy(IV, "1")|Item)+(1|Item), data = data,
> « > « >> family = "binomial")
> « > « >>
> « > « >> Is this a genuine result? If so, can anyone explain why the uncorrelated
> « > « >> random intercept and slope allow it to emerge? If not, how can I run a
> « > « >> model that has an uncorrelated random intercept and slope that would
> « > « >> prevent the choice of reference category from affecting the result?
> « > « >>
> « > « >> Thank you very much!
> « > « >>
> « > « >> Dave
> « > « >>
> « > « >> ---
> « > « >> David M. Sidhu, MSc<http://davidmsidhu.com/> PhD Candidate Department of
> « > « >> Psychology University of Calgary
> « > « >>
> « > « >>
> « > « >>
> « > « >>
> « > « >>
> « > « >>
> « > « >>
> « > « >> [[alternative HTML version deleted]]
> « > « >>
> « > « >> _______________________________________________
> « > « >> R-sig-mixed-models@r-project.org<mailto:R-sig-mixed-models@r-
> « > « >> project.org> mailing list https://stat.ethz.ch/mailman/listinfo/r-sig-
> « > « >> mixed-models
> « > « >>
> « > « >>
> « > « >> [[alternative HTML version deleted]]
> « > « >>
> « > « >> _______________________________________________
> « > « >> R-sig-mixed-models@r-project.org mailing list
> « > « >> https://stat.ethz.ch/mailman/listinfo/r-sig-mixed-models
> « > « > _______________________________________________
> « > « > R-sig-mixed-models@r-project.org mailing list
> « > « > https://stat.ethz.ch/mailman/listinfo/r-sig-mixed-models
> « > «
> « > « --
> « > « Peter Dalgaard, Professor,
> « > « Center for Statistics, Copenhagen Business School
> « > « Solbjerg Plads 3, 2000 Frederiksberg, Denmark
> « > « Phone: (+45)38153501
> « > « Office: A 4.23
> « > « Email: pd.mes@cbs.dk Priv: PDalgd@gmail.com
> « > «
> « > « _______________________________________________
> « > « R-sig-mixed-models@r-project.org mailing list
> « > « https://stat.ethz.ch/mailman/listinfo/r-sig-mixed-models
> « >
> « > --
> « > Emmanuel CURIS
> « > emmanuel.curis@parisdescartes.fr
> « >
> « > Page WWW: http://emmanuel.curis.online.fr/index.html
> «
> « --
> « Peter Dalgaard, Professor,
> « Center for Statistics, Copenhagen Business School
> « Solbjerg Plads 3, 2000 Frederiksberg, Denmark
> « Phone: (+45)38153501
> « Office: A 4.23
> « Email: pd.mes@cbs.dk Priv: PDalgd@gmail.com
> «
> «
> «
> «
> «
> «
> «
> «
>
> --
> Emmanuel CURIS
> emmanuel.curis@parisdescartes.fr
>
> Page WWW: http://emmanuel.curis.online.fr/index.html
--
Peter Dalgaard, Professor,
Center for Statistics, Copenhagen Business School
Solbjerg Plads 3, 2000 Frederiksberg, Denmark
Phone: (+45)38153501
Office: A 4.23
Email: pd.mes@cbs.dk Priv: PDalgd@gmail.com
_______________________________________________
R-sig-mixed-models@r-project.org mailing list
https://stat.ethz.ch/mailman/listinfo/r-sig-mixed-models
[prev in list] [next in list] [prev in thread] [next in thread]
Configure |
About |
News |
Add a list |
Sponsored by KoreLogic