Convergência de variáveis aleatórias
Em teoria das probabilidades, existem várias noções diferentes de convergência de variáveis aleatórias. A convergência de sequências de variáveis aleatórias a alguma variável aleatória limite é um importante conceito em teoria das probabilidades e tem aplicações na estatística e nos processos estocásticos. Os mesmos conceitos são conhecidos em matemática geral como convergência estocástica e formalizam a ideia de que é possível esperar que uma sequência de eventos essencialmente aleatórios ou imprevisíveis às vezes mantenha um comportamento essencialmente imutável quando itens suficientemente distantes na sequência são estudados. As possíveis noções diferentes de convergência se relacionam a como tal comportamento pode ser caracterizado: dois comportamentos prontamente entendidos são que a sequência eventualmente assume um valor constante e que os valores na sequência continuam mudando, mas podem ser descritos por uma distribuição de probabilidade imutável.
Plano de fundo
editarA expressão "convergência estocástica" formaliza a ideia de que é possível esperar que uma sequência de eventos essencialmente aleatórios ou imprevisíveis siga eventualmente um padrão.[1] Este padrão pode ser, por exemplo,
- Convergência no sentido clássico de um valor fixado, talvez ele mesmo vindo de um evento aleatório;
- Uma semelhança crescente dos eventos ao que uma função puramente determinística produziria;
- Uma preferência crescente em direção a um certo valor observado;
- Uma "aversão" crescente a se afastar demais de um certo valor observado;
- A distribuição de probabilidade que descreve o próximo valor observado pode ficar cada vez mais semelhante a uma certa distribuição.
Alguns padrões teóricos, menos óbvios podem ser
- A série formada pelo cálculo do valor esperado da distância entre o valor observado e um valor particular pode convergir a zero;
- A variância da variável aleatória que descreve o seguinte evento fica cada vez menor.
Estes outros tipos de padrões que podem surgir estão refletidos em diferentes tipos de convergência estocástica que têm sido estudados.
Enquanto a discussão acima diz respeito à convergência de uma única série a um valor limitante, a noção de convergência de duas séries uma em direção a outra também é importante. No entanto, é fácil lidar com isto estudando a sequência definida como a diferença ou como a razão das duas séries.
Por exemplo, se a média de variáveis aleatórias independentes , , todas tendo média e variância iguais e finitas, é dada por
então conforme tende ao infinito, converge em probabilidade à média comum das variáveis aleatórias . Este resultado é conhecido como lei fraca dos grandes números. Outras formas de convergência são importantes em outros teoremas úteis, incluindo o teorema central do limite.[2]
Ao longo do que se segue, assume-se que é uma sequência de variáveis aleatórias, é uma variável aleatória e todas elas estão definidas no mesmo espaço de probabilidade .
Convergência em distribuição
editarFábrica de dados | |
---|---|
Suponha que uma nova fábrica de dados acaba de ser construída. Alguns dos primeiros dados saem um pouco viesados, devido a imperfeições no processo de produção. Os valores observados ao jogar qualquer um deles seguirão um distribuição marcadamente diferente da desejada distribuição uniforme.
Conforme a fábrica é melhorada, os dados se tornam cada vez menos viesados e os valores observados ao jogar um dado recentemente produzido seguirão cada vez mais proximamente a distribuição uniforme. | |
Cara ou coroa | |
Considere Xn a fração de caras depois de jogar uma moeda não viesada n vezes. Então, X1 tem distribuição de Bernoulli com valor esperado μ = 0.5 e variância σ2 = 0.25. As variáveis aleatórias subsequentes X2, X3, ... serão todas distribuídas binomialmente.
Conforme n fica maior, a distribuição começará a ficar cada vez mais parecida com a distribuição normal. Se mudarmos e reescalonarmos Xn apropriadamente, então estará convergindo em distribuição à normal padrão, o resultado que se segue do conhecido teorema central do limite. | |
Exemplo gráfico | |
Suponha que {Xi} seja uma sequência de variáveis aleatórias independentes e identicamente distribuídas com distribuição uniforme U(−1, 1). Considere suas somas (normalizadas). Então, de acordo com o teorema central do limite, a distribuição de Zn se aproxima da distribuição normal N(0, 13). Esta convergência está mostrada na imagem: conforme n aumenta, a forma da função distribuição de probabilidade fica cada vez mais próxima da curva gaussiana. |
Com este modo de convergência, nós esperamos ver o próximo valor observado em uma sequência de experimentos aleatórios cada vez mais bem modelado por uma dada distribuição de probabilidade.
A convergência em distribuição é a forma mais fraca de convergência, já que é implicada por todos os outros tipos de convergência mencionados nesta página.[3] Entretanto, a convergência em distribuição é usada com muita regularidade na prática. Mais frequentemente, ela surge da aplicação do teorema central do limite.
Definição
editarUma sequência X1, X2, ... de variáveis aleatórias de valores reais converge em distribuição, converge fracamente ou converge em lei a uma variável aleatória se[4]
para todo número x ∈ R no qual é contínua. Aqui, Fn e F são as funções distribuição acumulada das variáveis aleatórias Xn e X respectivamente.
A exigência de que apenas os pontos de continuidade de F sejam considerados é essencial. Por exemplo, se Xn for distribuída uniformemente nos intervalos, (0, 1n), então, esta sequência converge em distribuição a uma variável aleatória degenerada X = 0. De fato, Fn(x) = 0 para todo quando x ≤ 0 e Fn(x) = 1 para todo x ≥ 1n quando n > 0. Entretanto, para esta variável aleatória limitante, F(0) = 1, ainda que Fn(0) = 0 para todo . Assim, a convergência das funções distribuição acumulada falha no ponto , em que é descontínua.
A convergência em distribuição pode ser denotada como
em que é a lei (distribuição de probabilidade) de X. Por exemplo, se X tiver distribuição normal padrão, podemos escrever .
Para vetores aleatórios {X1, X2, ...} ⊂ Rk, a convergência em distribuição é definida de forma semelhante. Dizemos que esta sequência converge em distribuição a um vetor aleatório se
para todo A ⊂ Rk que for um conjunto continuidade de .
A definição de convergência em distribuição pode ser estendida de vetores aleatórios a elementos aleatórios mais gerais em espaços métricos arbitrários, até mesmo a "variáveis aleatórias" não mensuráveis — uma situação que ocorre por exemplo no estudo de processos empíricos. Isto é a convergência fraca de leis sem que leis sejam definidas — exceto assintoticamente.[5]
Neste caso, o termo convergência fraca é preferível e dizemos que uma sequência de elementos aleatórios converge fracamente a (denotado como Xn ⇒ X) se
para todas as funções contínuas limitadas h.[6] Aqui, denota o valor esperado externo, que é o valor esperado da menor função mensurável que domina h(Xn).
Propriedades
editar- Já que F(a) = Pr(X ≤ a), a convergência em distribuição significa que a probabilidade de que Xn esteja em um dado intervalo é aproximadamente igual à probabilidade de que o valor de X esteja neste intervalo, sendo suficientemente grande.
- Em geral, a convergência em distribuição não implica que a sequência de funções densidade de probabilidade correspondentes também convergirá. Como um exemplo, podem-se considerar variáveis aleatórias com densidades fn(x) = (1 − cos(2πnx))1(0,1). Estas variáveis aleatórias convergem em distribuição a uma uniforme , enquanto suas densidades não convergem de qualquer forma.[7]
- Entretanto, o lema de Scheffé implica que a convergência das funções densidade de probabilidade implica convergência em distribuição.[8]
- O lema de Portmanteau oferece várias definições equivalentes de convergência em distribuição. Ainda que estas definições sejam menos intuitivas, elas são usadas para provar uma série de teoremas estatísticos. O teorema afirma que {Xn} converge em distribuição a X se e somente só qualquer uma das afirmações seguintes for verdadeira:
- Eƒ(Xn) → Eƒ(X) para todas as funções limitadas, contínuas (em que E denota o valor esperado);
- Eƒ(Xn) → Eƒ(X) para todas as funções limitadas e de Lipschitz ƒ;
- limsup{ Eƒ(Xn) } ≤ Eƒ(X) para toda função semicontínua superior limitada a partir de cima;
- liminf{ Eƒ(Xn) } ≥ Eƒ(X) para toda função semicontínua inferior limitada a partir de baixo;
- limsup{Pr(Xn ∈ C)} ≤ Pr(X ∈ C) para todos os conjuntos fechados C;
- liminf{Pr(Xn ∈ U)} ≥ Pr(X ∈ U) para todos os conjuntos abertos U;
- lim{Pr(Xn ∈ A)} = Pr(X ∈ A) para todos os conjuntos continuidade A da variável aleatória X.
- O teorema de Mann-Wald afirma que, para uma função contínua , se a sequência {Xn} convergir em distribuição a , então {g(Xn)} converge em distribuição a g(X).
- Entretanto, a convergência em distribuição de {Xn} a e de {Yn} a Y não implica em geral a convergência em distribuição de{Xn + Yn} a X + Y ou de {XnYn} a XY.
- O teorema da continuidade de Lévy afirma que a sequência {Xn} converge em distribuição a X se e somente se a sequência das funções características correspondentes {φn} convergir pontualmente à função característica φ de X.
- A convergência em distribuição é metrizável pela métrica de Lévy-Prokhorov.[3]
- Uma ligação natural à convergência em distribuição é o teorema da representação de Skorokhod.
Convergência em probabilidade
editarAltura de uma pessoa | |
---|---|
Este exemplo não deve ser tomado literalmente. Considere o seguinte experimento. Primeiramente, selecione uma pessoa na rua. Considere X sua altura, que é ex ante uma variável aleatória. Então, peça a outras pessoas que estimem sua altura a olho. Considere Xn a média das primeiras n respostas. Então, se não houver erro sistemático, a sequência Xn convergirá em probabilidade à variável aleatória X pela lei dos grandes números. | |
Arqueiro | |
Suponha que uma pessoa pegue um arco e comece a atirar flechas em um alvo. Considere Xn sua pontuação na n-ésima flecha. Inicialmente, ele não fará nenhum ponto muitas vezes, mas conforme o tempo passa e sua habilidade aumenta, ele ficara cada mais próximo de acertar a mosca e marcar 10 pontos. Depois de anos de prática, a probabilidade de que ele atinja pontuação diferente de 10 ficará cada vez menor e convergirá a 0. Assim, a sequência Xn converge em probabilidade a
Entretanto, note que Xn não converge quase certamente. Não importa quão profissional o arqueiro se torne, haverá sempre uma pequena probabilidade de cometer um erro. Assim, a sequência nunca ficará estacionária. Haverá sempre pontuações não perfeitas, ainda que se tornem cada vez menos frequentes. |
A ideia básica por trás deste tipo de convergência é que a probabilidade de um valor observado "incomum" se torna cada vez menor conforme a sequência progride.[9]
O conceito de convergência em probabilidade é usado muito frequentemente em estatística. Por exemplo, um estimador é considerado consistente se convergir em probabilidade à quantidade sendo estimada. A convergência em probabilidade é também o tipo de convergência estabelecido pela lei fraca dos grandes números.[10]
Definição
editarUma sequência de variáveis aleatórias converge em probabilidade em direção à variável aleatória se para todo [4]
Formalmente, considere qualquer e qualquer . Considere a probabilidade de que esteja fora de um intervalo de confiança de raio e em torno de . Então, para que convirja em probabilidade a , deve existir um número (que dependerá de e ) tal que, para todo , .
A convergência em probabilidade é denotada colocando-se a letra sobre uma seta indicando convergência ou o operador de limite de probabilidade :
Para elementos aleatórios em um espaço métrico separável (S, d), a convergência em probabilidade é definida de forma semelhante por[11]
Propriedades
editar- A convergência em probabilidade implica convergência em distribuição.[9]
- Na direção oposta, a convergência em distribuição implica a convergência em probabilidade quando a variável aleatória limitante for uma constante.
- A convergência em probabilidade não implica convergência quase certa.
- O teorema de Mann-Wald afirma que, para toda função contínua , se , então também .
- A convergência em probabilidade define uma topologia no espaço de variáveis aleatórias sobre um espaço de probabilidade fixado. Esta topologia é metrizável pela métrica de Ky Fan:[11]
- ou
- .
Convergência quase certa
editarExemplo 1 | |
---|---|
Considere um animal de alguma espécie de vida curta. Nós registramos a quantidade de comida que este animal consome por dia. Esta sequência de números será imprevisível, mas podemos estar quase certos de que este número um dia será zero e permanecerá zero para sempre a partir de então. | |
Exemplo 2 | |
Considere um homem que joga sete moedas toda manhã. Cada tarde, ele doa um moeda à caridade para cada cara que aparece. A partir da primeira vez em que todas as moedas derem coroa, ele parará de doar permanentemente.
Considere as quantidades diárias que a caridade recebe dele. Podemos ficar quase certos de que um dia esta quantidade será zero e permanecerá zero para sempre a partir de então. Entretanto, se considerarmos qualquer número finito de dias, há uma probabilidade não nula de que ele não pare de doar à caridade. |
Este é o tipo de convergência estocástica mais semelhante à convergência pontual conhecida a partir da análise real elementar.
Definição
editarDizer que a sequência Xn converge quase certamente, quase em todo lugar, com probabilidade 1 ou fortemente em direção a significa que[4]
Isto significa que os valores de Xn se aproximam do valor de no sentido de que os eventos para os quais Xn não converge a têm probabilidade zero. Usando o espaço de probabilidade e o conceito da variável aleatória como uma função de a R, isto equivale à afirmação
Usando a noção do limite inferior de uma sequência de conjuntos, a convergência quase certa pode ser definida como:
A convergência quase certa é frequentemente denotada colocando-se as letras sobre uma seta indicando convergência,
Para elementos aleatórios genéricos em um espaço métrico , a convergência quase certa é definida de forma semelhante:
Propriedades
editar- A convergência quase certa implica convergência em probabilidade pelo lema de Fatou e, por isso, implica convergência em distribuição. É a noção de convergência usada na lei forte dos grandes números.[10]
- O conceito de convergência quase certa não vem de uma topologia sobre o espaço de variáveis aleatórias. Isto significa que não há topologia no espaço de variáveis aleatórias tal que as sequências quase certamente convergentes são exatamente as sequências convergentes em relação àquela topologia. Em particular, não há métrica de convergência quase certa.
Convergência certa
editarDizer que a sequência de variáveis aleatórias definida ao longo do mesmo espaço de probabilidade (isto é, um processo aleatório) converge certamente, em todo lugar ou pontualmente a significa que
em que é o espaço amostral do espaço de probabilidade subjacente sobre o qual as variáveis aleatórias são definidas.
Esta é a noção de convergência pontual de uma sequência de funções estendida a uma sequência de variáveis aleatórias, lembrando que as variáveis aleatórias são elas mesmas funções.
A convergência certa de uma variável aleatória implica todos os outros tipos de convergência descritos acima. A diferença entre a convergência quase certa e a convergência certa está nos conjuntos com probabilidade zero. Por isso, o conceito de convergência certa de variáveis aleatórias é muito raramente usado.
Convergência em média
editarDado um número real r ≥ 1, dizemos que a sequência Xn converge na -ésima média ou na norma Lr[12] à variável aleatória se os -ésimos momentos absolutos e de e existem e
em que o operador denota o valor esperado. A convergência na -ésima média nos diz que o valor esperado da -ésima potência da diferença entre e converge a zero.
Este tipo de convergência é frequentemente denotado colocando-se Lr sobre uma seta indicando convergência:
Os casos mais importantes de convergência na -ésima média são:
- Quando Xn converge na -ésima média a para , dizemos que Xn converge em média a .
- Quando Xn converge na -ésima média a para , dizemos que Xn converge em média quadrática a .
A convergência na na -ésima média, para , implica convergência em probabilidade pela desigualdade de Markov.[13] Além disso, se , a convergência na -ésima média implica convergência na -ésima média. Assim, a convergência em média quadrática implica a convergência em média.
Vale notar que, se , então
Propriedades
editarSe o espaço de probabilidade for completo:
- Se e , então quase certamente.
- Se e , então quase certamente.
- Se e , então quase certamente.
- Se e , então (para quaisquer números reais e ) e .
- Se e , então (para quaisquer números reais e ) e .
- Se e , então (para quaisquer números reais e ).
- Nenhuma das afirmações acima é verdadeira para convergência em distribuição.
A cadeia de implicações entre as várias noções de convergências estão notadas em suas respectivas seções. Elas são, usando notação de setas:
Estas propriedades, unidas a uma série de outros casos especiais, estão resumidas na lista abaixo:
- Convergência quase certa implica convergência em probabilidade:[14]
- Convergência em probabilidade implica que existe uma subsequência que quase certamente converge:[15]
- Convergência em probabilidade implica convergência em distribuição:[14]
- Convergência na -ésima média implica convergência em probabilidade:
- Convergência na -ésima média implica convergência na média de ordem mais baixa, assumindo que ambas as ordens são maiores ou iguais a um:
- sendo .
- Se convergir em distribuição a uma constante , então converge em probabilidade a :[14]
- sendo uma constante.
- Se Xn convergir em distribuição a e a diferença entre e converge em probabilidade a zero, então também converge em distribuição a :[14]
- Se convergir em distribuição a e convergir em distribuição a uma constante , então o vetor conjunto converge em distribuição a :
- sendo uma constante.
- A condição de que Yn convirja a uma constante é importante. Se convergisse a uma variável aleatória , então não se poderia concluir que converge a .
- Se convergir em probabilidade a e convergir em probabilidade a , então o vetor conjunto converge em probabilidade a :[14]
- Se Xn convergir em probabilidade a e P(|Xn| ≤ b) = 1 para todo e algum , então Xn converge na -ésima média a para todo r ≥ 1. Em outras palavras, se Xn convergir em probabilidade a e todas as variáveis aleatórias Xn forem quase certamente limitadas acima e abaixo, então Xn converge a também em qualquer -ésima média.
- Geralmente, convergência em distribuição não implica convergência quase certa. Entretanto, para uma dada sequência que converge em distribuição a , é sempre possível encontrar um novo espaço de probabilidade e variáveis aleatórias definidas neste espaço tal que seja igual em distribuição Xn para todo e convirja a quase certamente.[14]
- Se para todo
- então dizemos que Xn converge quase completamente ou quase em probabilidade em direção a . Quando converge quase completamente em direção a , então também converge quase certamente a . Em outras palavras, se Xn convergir em probabilidade a de forma suficientemente rápida, isto é, se a sequência acima das probabilidades de cauda for somável para todo ε > 0, então, Xn converge quase certamente a . Esta é uma implicação direta do lema de Borel-Cantelli.
- Se Sn for uma soma de variáveis aleatórias independentes reais:
- então Sn converge quase certamente se e somente se Sn convergir em probabilidade.
- O teorema da convergência dominada dá condições suficientes para que a convergência quase certa implique convergência
- Uma condição necessária e suficiente para a convergência é que e a sequência seja uniformemente integrável.
Referências
editar- ↑ Grimmett, Geoffrey; Stirzaker, David (31 de maio de 2001). Probability and Random Processes (em inglês). [S.l.]: OUP Oxford. ISBN 9780198572220
- ↑ Dudley, R. M. (14 de outubro de 2002). Real Analysis and Probability (em inglês). [S.l.]: Cambridge University Press. ISBN 9780521007542
- ↑ a b Billingsley, Patrick (25 de junho de 2013). Convergence of Probability Measures (em inglês). [S.l.]: John Wiley & Sons. ISBN 9781118625965
- ↑ a b c vaart, A. W. van der; Wellner, Jon (9 de março de 2013). Weak Convergence and Empirical Processes: With Applications to Statistics (em inglês). [S.l.]: Springer Science & Business Media. ISBN 9781475725452
- ↑ Bickel, Peter J.; Klaassen, Chris A. J.; Ritov, Ya'acov; Wellner, Jon A. (1 de junho de 1998). Efficient and Adaptive Estimation for Semiparametric Models (em inglês). [S.l.]: Springer New York. ISBN 9780387984735
- ↑ vaart, A. W. van der; Wellner, Jon (9 de março de 2013). Weak Convergence and Empirical Processes: With Applications to Statistics (em inglês). [S.l.]: Springer Science & Business Media. ISBN 9781475725452
- ↑ Romano, Joseph P.; Siegel, A. F. (1 de junho de 1986). Counterexamples in Probability And Statistics (em inglês). [S.l.]: CRC Press. ISBN 9780412989018
- ↑ Scheffe, Henry (26 de maio de 2017). «A Useful Convergence Theorem for Probability Distributions». The Annals of Mathematical Statistics (em inglês). 18 (3): 434–438. ISSN 0003-4851. doi:10.1214/aoms/1177730390
- ↑ a b CASELLA, GEORGE; BERGER, ROGER L. INFERENCIA ESTATISTICA. [S.l.]: CENGAGE. ISBN 9788522108947
- ↑ a b Billingsley, Patrick (1 de março de 1986). Probability and measure (em inglês). [S.l.]: Wiley. ISBN 9780471804789
- ↑ a b Dudley, R. M. (14 de outubro de 2002). Real Analysis and Probability (em inglês). [S.l.]: Cambridge University Press. ISBN 9780521007542
- ↑ Ledoux, Michel; Talagrand, Michel (9 de março de 2013). Probability in Banach Spaces: Isoperimetry and Processes (em inglês). [S.l.]: Springer Science & Business Media. ISBN 9783642202124
- ↑ Williams, David (14 de fevereiro de 1991). Probability with Martingales (em inglês). [S.l.]: Cambridge University Press. ISBN 9780521406055
- ↑ a b c d e f Vaart, A. W. van der (19 de junho de 2000). Asymptotic Statistics (em inglês). [S.l.]: Cambridge University Press. ISBN 9780521784504
- ↑ Gut, Allan (17 de outubro de 2012). Probability: A Graduate Course (em inglês). [S.l.]: Springer Science & Business Media. ISBN 9781461447078
Este artigo incorpora material do artigo "Convergência de variáveis aleatórias", do Citizendium, que está sob a licença Creative Commons Attribution-ShareAlike 3.0 Unported, porém não sob a GFDL.