Convergência de variáveis aleatórias

Técnica de detecção de repetição de sequências multivariadas

Em teoria das probabilidades, existem várias noções diferentes de convergência de variáveis aleatórias. A convergência de sequências de variáveis aleatórias a alguma variável aleatória limite é um importante conceito em teoria das probabilidades e tem aplicações na estatística e nos processos estocásticos. Os mesmos conceitos são conhecidos em matemática geral como convergência estocástica e formalizam a ideia de que é possível esperar que uma sequência de eventos essencialmente aleatórios ou imprevisíveis às vezes mantenha um comportamento essencialmente imutável quando itens suficientemente distantes na sequência são estudados. As possíveis noções diferentes de convergência se relacionam a como tal comportamento pode ser caracterizado: dois comportamentos prontamente entendidos são que a sequência eventualmente assume um valor constante e que os valores na sequência continuam mudando, mas podem ser descritos por uma distribuição de probabilidade imutável.

Plano de fundo

editar

A expressão "convergência estocástica" formaliza a ideia de que é possível esperar que uma sequência de eventos essencialmente aleatórios ou imprevisíveis siga eventualmente um padrão.[1] Este padrão pode ser, por exemplo,

  • Convergência no sentido clássico de um valor fixado, talvez ele mesmo vindo de um evento aleatório;
  • Uma semelhança crescente dos eventos ao que uma função puramente determinística produziria;
  • Uma preferência crescente em direção a um certo valor observado;
  • Uma "aversão" crescente a se afastar demais de um certo valor observado;
  • A distribuição de probabilidade que descreve o próximo valor observado pode ficar cada vez mais semelhante a uma certa distribuição.

Alguns padrões teóricos, menos óbvios podem ser

  • A série formada pelo cálculo do valor esperado da distância entre o valor observado e um valor particular pode convergir a zero;
  • A variância da variável aleatória que descreve o seguinte evento fica cada vez menor.

Estes outros tipos de padrões que podem surgir estão refletidos em diferentes tipos de convergência estocástica que têm sido estudados.

Enquanto a discussão acima diz respeito à convergência de uma única série a um valor limitante, a noção de convergência de duas séries uma em direção a outra também é importante. No entanto, é fácil lidar com isto estudando a sequência definida como a diferença ou como a razão das duas séries.

Por exemplo, se a média de   variáveis aleatórias independentes  ,  , todas tendo média e variância iguais e finitas, é dada por

 

então conforme   tende ao infinito,   converge em probabilidade à média comum   das variáveis aleatórias  . Este resultado é conhecido como lei fraca dos grandes números. Outras formas de convergência são importantes em outros teoremas úteis, incluindo o teorema central do limite.[2]

Ao longo do que se segue, assume-se que   é uma sequência de variáveis aleatórias,   é uma variável aleatória e todas elas estão definidas no mesmo espaço de probabilidade  .

Convergência em distribuição

editar
Exemplos de convergência em distribuição
Fábrica de dados
Suponha que uma nova fábrica de dados acaba de ser construída. Alguns dos primeiros dados saem um pouco viesados, devido a imperfeições no processo de produção. Os valores observados ao jogar qualquer um deles seguirão um distribuição marcadamente diferente da desejada distribuição uniforme.

Conforme a fábrica é melhorada, os dados se tornam cada vez menos viesados e os valores observados ao jogar um dado recentemente produzido seguirão cada vez mais proximamente a distribuição uniforme.

Cara ou coroa
Considere Xn a fração de caras depois de jogar uma moeda não viesada n vezes. Então, X1 tem distribuição de Bernoulli com valor esperado μ = 0.5 e variância σ2 = 0.25. As variáveis aleatórias subsequentes X2, X3, ... serão todas distribuídas binomialmente.

Conforme n fica maior, a distribuição começará a ficar cada vez mais parecida com a distribuição normal. Se mudarmos e reescalonarmos Xn apropriadamente, então   estará convergindo em distribuição à normal padrão, o resultado que se segue do conhecido teorema central do limite.

Exemplo gráfico
Suponha que {Xi} seja uma sequência de variáveis aleatórias independentes e identicamente distribuídas com distribuição uniforme U(−1, 1). Considere   suas somas (normalizadas). Então, de acordo com o teorema central do limite, a distribuição de Zn se aproxima da distribuição normal N(0, 13). Esta convergência está mostrada na imagem: conforme n aumenta, a forma da função distribuição de probabilidade fica cada vez mais próxima da curva gaussiana.
 

Com este modo de convergência, nós esperamos ver o próximo valor observado em uma sequência de experimentos aleatórios cada vez mais bem modelado por uma dada distribuição de probabilidade.

A convergência em distribuição é a forma mais fraca de convergência, já que é implicada por todos os outros tipos de convergência mencionados nesta página.[3] Entretanto, a convergência em distribuição é usada com muita regularidade na prática. Mais frequentemente, ela surge da aplicação do teorema central do limite.

Definição

editar

Uma sequência X1, X2, ... de variáveis aleatórias de valores reais converge em distribuição, converge fracamente ou converge em lei a uma variável aleatória   se[4]

 

para todo número xR no qual   é contínua. Aqui, Fn e F são as funções distribuição acumulada das variáveis aleatórias Xn e X respectivamente.

A exigência de que apenas os pontos de continuidade de F sejam considerados é essencial. Por exemplo, se Xn for distribuída uniformemente nos intervalos, (0, 1n), então, esta sequência converge em distribuição a uma variável aleatória degenerada X = 0. De fato, Fn(x) = 0 para todo   quando x ≤ 0 e Fn(x) = 1 para todo x1n quando n > 0. Entretanto, para esta variável aleatória limitante, F(0) = 1, ainda que Fn(0) = 0 para todo  . Assim, a convergência das funções distribuição acumulada falha no ponto  , em que   é descontínua.

A convergência em distribuição pode ser denotada como

 

em que   é a lei (distribuição de probabilidade) de X. Por exemplo, se X tiver distribuição normal padrão, podemos escrever  .

Para vetores aleatórios {X1, X2, ...} ⊂ Rk, a convergência em distribuição é definida de forma semelhante. Dizemos que esta sequência converge em distribuição a um vetor   aleatório   se

 

para todo ARk que for um conjunto continuidade de  .

A definição de convergência em distribuição pode ser estendida de vetores aleatórios a elementos aleatórios mais gerais em espaços métricos arbitrários, até mesmo a "variáveis aleatórias" não mensuráveis — uma situação que ocorre por exemplo no estudo de processos empíricos. Isto é a convergência fraca de leis sem que leis sejam definidas — exceto assintoticamente.[5]

Neste caso, o termo convergência fraca é preferível e dizemos que uma sequência de elementos aleatórios   converge fracamente a   (denotado como XnX) se

 

para todas as funções contínuas limitadas h.[6] Aqui,   denota o valor esperado externo, que é o valor esperado da menor função mensurável   que domina h(Xn).

Propriedades

editar
  • Já que F(a) = Pr(Xa), a convergência em distribuição significa que a probabilidade de que Xn esteja em um dado intervalo é aproximadamente igual à probabilidade de que o valor de X esteja neste intervalo, sendo   suficientemente grande.
  • Em geral, a convergência em distribuição não implica que a sequência de funções densidade de probabilidade correspondentes também convergirá. Como um exemplo, podem-se considerar variáveis aleatórias com densidades fn(x) = (1 − cos(2πnx))1(0,1). Estas variáveis aleatórias convergem em distribuição a uma uniforme  , enquanto suas densidades não convergem de qualquer forma.[7]
    • Entretanto, o lema de Scheffé implica que a convergência das funções densidade de probabilidade implica convergência em distribuição.[8]
  • O lema de Portmanteau oferece várias definições equivalentes de convergência em distribuição. Ainda que estas definições sejam menos intuitivas, elas são usadas para provar uma série de teoremas estatísticos. O teorema afirma que {Xn} converge em distribuição a X se e somente só qualquer uma das afirmações seguintes for verdadeira:
    • Eƒ(Xn) → Eƒ(X) para todas as funções limitadas, contínuas   (em que E denota o valor esperado);
    • Eƒ(Xn) → Eƒ(X) para todas as funções limitadas e de Lipschitz ƒ;
    • limsup{ Eƒ(Xn) } ≤ Eƒ(X) para toda função semicontínua superior   limitada a partir de cima;
    • liminf{ Eƒ(Xn) } ≥ Eƒ(X) para toda função semicontínua inferior   limitada a partir de baixo;
    • limsup{Pr(XnC)} ≤ Pr(XC) para todos os conjuntos fechados C;
    • liminf{Pr(XnU)} ≥ Pr(XU) para todos os conjuntos abertos U;
    • lim{Pr(XnA)} = Pr(XA) para todos os conjuntos continuidade A da variável aleatória X.
  • O teorema de Mann-Wald afirma que, para uma função contínua  , se a sequência {Xn} convergir em distribuição a  , então {g(Xn)} converge em distribuição a g(X).
    • Entretanto, a convergência em distribuição de {Xn} a   e de {Yn} a Y não implica em geral a convergência em distribuição de{Xn + Yn} a X + Y ou de {XnYn} a XY.
  • O teorema da continuidade de Lévy afirma que a sequência {Xn} converge em distribuição a X se e somente se a sequência das funções características correspondentes {φn} convergir pontualmente à função característica φ de X.
  • A convergência em distribuição é metrizável pela métrica de Lévy-Prokhorov.[3]
  • Uma ligação natural à convergência em distribuição é o teorema da representação de Skorokhod.

Convergência em probabilidade

editar
Examples of convergence in probability
Altura de uma pessoa
Este exemplo não deve ser tomado literalmente. Considere o seguinte experimento. Primeiramente, selecione uma pessoa na rua. Considere X sua altura, que é ex ante uma variável aleatória. Então, peça a outras pessoas que estimem sua altura a olho. Considere Xn a média das primeiras n respostas. Então, se não houver erro sistemático, a sequência Xn convergirá em probabilidade à variável aleatória X pela lei dos grandes números.
Arqueiro
Suponha que uma pessoa pegue um arco e comece a atirar flechas em um alvo. Considere Xn sua pontuação na n-ésima flecha. Inicialmente, ele não fará nenhum ponto muitas vezes, mas conforme o tempo passa e sua habilidade aumenta, ele ficara cada mais próximo de acertar a mosca e marcar 10 pontos. Depois de anos de prática, a probabilidade de que ele atinja pontuação diferente de 10 ficará cada vez menor e convergirá a 0. Assim, a sequência Xn converge em probabilidade a  

Entretanto, note que Xn não converge quase certamente. Não importa quão profissional o arqueiro se torne, haverá sempre uma pequena probabilidade de cometer um erro. Assim, a sequência   nunca ficará estacionária. Haverá sempre pontuações não perfeitas, ainda que se tornem cada vez menos frequentes.

A ideia básica por trás deste tipo de convergência é que a probabilidade de um valor observado "incomum" se torna cada vez menor conforme a sequência progride.[9]

O conceito de convergência em probabilidade é usado muito frequentemente em estatística. Por exemplo, um estimador é considerado consistente se convergir em probabilidade à quantidade sendo estimada. A convergência em probabilidade é também o tipo de convergência estabelecido pela lei fraca dos grandes números.[10]

Definição

editar

Uma sequência   de variáveis aleatórias converge em probabilidade em direção à variável aleatória   se para todo  [4]

 

Formalmente, considere qualquer   e qualquer  . Considere   a probabilidade de que   esteja fora de um intervalo de confiança de raio   e em torno de  . Então, para que   convirja em probabilidade a  , deve existir um número   (que dependerá de   e  ) tal que, para todo  ,  .

A convergência em probabilidade   é denotada colocando-se a letra   sobre uma seta indicando convergência ou o operador de limite de probabilidade  :

 

Para elementos aleatórios   em um espaço métrico separável (S, d), a convergência em probabilidade é definida de forma semelhante por[11]

 

Propriedades

editar
  • A convergência em probabilidade implica convergência em distribuição.[9]
  • Na direção oposta, a convergência em distribuição implica a convergência em probabilidade quando a variável aleatória limitante   for uma constante.
  • A convergência em probabilidade não implica convergência quase certa.
  • O teorema de Mann-Wald afirma que, para toda função contínua  , se  , então também  .
  • A convergência em probabilidade define uma topologia no espaço de variáveis aleatórias sobre um espaço de probabilidade fixado. Esta topologia é metrizável pela métrica de Ky Fan:[11]
 
ou
 .

Convergência quase certa

editar
Exemplos de convergência quase certa
Exemplo 1
Considere um animal de alguma espécie de vida curta. Nós registramos a quantidade de comida que este animal consome por dia. Esta sequência de números será imprevisível, mas podemos estar quase certos de que este número um dia será zero e permanecerá zero para sempre a partir de então.
Exemplo 2
Considere um homem que joga sete moedas toda manhã. Cada tarde, ele doa um moeda à caridade para cada cara que aparece. A partir da primeira vez em que todas as moedas derem coroa, ele parará de doar permanentemente.

Considere   as quantidades diárias que a caridade recebe dele. Podemos ficar quase certos de que um dia esta quantidade será zero e permanecerá zero para sempre a partir de então. Entretanto, se considerarmos qualquer número finito de dias, há uma probabilidade não nula de que ele não pare de doar à caridade.

Este é o tipo de convergência estocástica mais semelhante à convergência pontual conhecida a partir da análise real elementar.

Definição

editar

Dizer que a sequência Xn converge quase certamente, quase em todo lugar, com probabilidade 1 ou fortemente em direção a   significa que[4]

 

Isto significa que os valores de Xn se aproximam do valor de   no sentido de que os eventos para os quais Xn não converge a   têm probabilidade zero. Usando o espaço de probabilidade   e o conceito da variável aleatória como uma função de   a R, isto equivale à afirmação

 

Usando a noção do limite inferior de uma sequência de conjuntos, a convergência quase certa pode ser definida como:

 

A convergência quase certa é frequentemente denotada colocando-se as letras   sobre uma seta indicando convergência,

 

Para elementos aleatórios genéricos   em um espaço métrico  , a convergência quase certa é definida de forma semelhante:

 

Propriedades

editar
  • A convergência quase certa implica convergência em probabilidade pelo lema de Fatou e, por isso, implica convergência em distribuição. É a noção de convergência usada na lei forte dos grandes números.[10]
  • O conceito de convergência quase certa não vem de uma topologia sobre o espaço de variáveis aleatórias. Isto significa que não há topologia no espaço de variáveis aleatórias tal que as sequências quase certamente convergentes são exatamente as sequências convergentes em relação àquela topologia. Em particular, não há métrica de convergência quase certa.

Convergência certa

editar

Dizer que a sequência de variáveis aleatórias   definida ao longo do mesmo espaço de probabilidade (isto é, um processo aleatório) converge certamente, em todo lugar ou pontualmente a   significa que

 

em que   é o espaço amostral do espaço de probabilidade subjacente sobre o qual as variáveis aleatórias são definidas.

Esta é a noção de convergência pontual de uma sequência de funções estendida a uma sequência de variáveis aleatórias, lembrando que as variáveis aleatórias são elas mesmas funções.

 

A convergência certa de uma variável aleatória implica todos os outros tipos de convergência descritos acima. A diferença entre a convergência quase certa e a convergência certa está nos conjuntos com probabilidade zero. Por isso, o conceito de convergência certa de variáveis aleatórias é muito raramente usado.

Convergência em média

editar

Dado um número real r ≥ 1, dizemos que a sequência Xn converge na  -ésima média ou na norma Lr[12] à variável aleatória   se os  -ésimos momentos absolutos   e   de   e   existem e

 

em que o operador   denota o valor esperado. A convergência na  -ésima média nos diz que o valor esperado da  -ésima potência da diferença entre   e   converge a zero.

Este tipo de convergência é frequentemente denotado colocando-se Lr sobre uma seta indicando convergência:

 

Os casos mais importantes de convergência na  -ésima média são:

  • Quando Xn converge na  -ésima média a   para  , dizemos que Xn converge em média a  .
  • Quando Xn converge na  -ésima média a   para  , dizemos que Xn converge em média quadrática a  .

A convergência na na  -ésima média, para  , implica convergência em probabilidade pela desigualdade de Markov.[13] Além disso, se  , a convergência na  -ésima média implica convergência na  -ésima média. Assim, a convergência em média quadrática implica a convergência em média.

Vale notar que, se  , então

 

Propriedades

editar

Se o espaço de probabilidade for completo:

  • Se   e  , então   quase certamente.
  • Se   e  , então   quase certamente.
  • Se   e  , então   quase certamente.
  • Se   e  , então   (para quaisquer números reais   e  ) e  .
  • Se   e  , então   (para quaisquer números reais   e  ) e  .
  • Se   e  , então   (para quaisquer números reais   e  ).
  • Nenhuma das afirmações acima é verdadeira para convergência em distribuição.

A cadeia de implicações entre as várias noções de convergências estão notadas em suas respectivas seções. Elas são, usando notação de setas:

 

Estas propriedades, unidas a uma série de outros casos especiais, estão resumidas na lista abaixo:

  • Convergência quase certa implica convergência em probabilidade:[14]
 
  • Convergência em probabilidade implica que existe uma subsequência   que quase certamente converge:[15]
 
  • Convergência em probabilidade implica convergência em distribuição:[14]
 
  • Convergência na  -ésima média implica convergência em probabilidade:
 
  • Convergência na  -ésima média implica convergência na média de ordem mais baixa, assumindo que ambas as ordens são maiores ou iguais a um:
  sendo  .
  • Se   convergir em distribuição a uma constante  , então   converge em probabilidade a  :[14]
  sendo   uma constante.
  • Se Xn convergir em distribuição a   e a diferença entre   e   converge em probabilidade a zero, então   também converge em distribuição a  :[14]
 
  • Se   convergir em distribuição a   e   convergir em distribuição a uma constante  , então o vetor conjunto   converge em distribuição a  :
  sendo   uma constante.
A condição de que Yn convirja a uma constante é importante. Se convergisse a uma variável aleatória  , então não se poderia concluir que   converge a  .
  • Se   convergir em probabilidade a   e   convergir em probabilidade a  , então o vetor conjunto   converge em probabilidade a  :[14]
 
  • Se Xn convergir em probabilidade a   e P(|Xn| ≤ b) = 1 para todo   e algum  , então Xn converge na  -ésima média a   para todo r ≥ 1. Em outras palavras, se Xn convergir em probabilidade a   e todas as variáveis aleatórias Xn forem quase certamente limitadas acima e abaixo, então Xn converge a   também em qualquer  -ésima média.
  • Geralmente, convergência em distribuição não implica convergência quase certa. Entretanto, para uma dada sequência   que converge em distribuição a  , é sempre possível encontrar um novo espaço de probabilidade   e variáveis aleatórias   definidas neste espaço tal que   seja igual em distribuição Xn para todo   e   convirja a   quase certamente.[14]
  • Se para todo  
 
então dizemos que Xn converge quase completamente ou quase em probabilidade em direção a  . Quando   converge quase completamente em direção a  , então também converge quase certamente a  . Em outras palavras, se Xn convergir em probabilidade a   de forma suficientemente rápida, isto é, se a sequência acima das probabilidades de cauda for somável para todo ε > 0, então, Xn converge quase certamente a  . Esta é uma implicação direta do lema de Borel-Cantelli.
  • Se Sn for uma soma de   variáveis aleatórias independentes reais:
 
então Sn converge quase certamente se e somente se Sn convergir em probabilidade.
 
  • Uma condição necessária e suficiente para a convergência   é que   e a sequência   seja uniformemente integrável.

Referências

editar
  1. Grimmett, Geoffrey; Stirzaker, David (31 de maio de 2001). Probability and Random Processes (em inglês). [S.l.]: OUP Oxford. ISBN 9780198572220 
  2. Dudley, R. M. (14 de outubro de 2002). Real Analysis and Probability (em inglês). [S.l.]: Cambridge University Press. ISBN 9780521007542 
  3. a b Billingsley, Patrick (25 de junho de 2013). Convergence of Probability Measures (em inglês). [S.l.]: John Wiley & Sons. ISBN 9781118625965 
  4. a b c vaart, A. W. van der; Wellner, Jon (9 de março de 2013). Weak Convergence and Empirical Processes: With Applications to Statistics (em inglês). [S.l.]: Springer Science & Business Media. ISBN 9781475725452 
  5. Bickel, Peter J.; Klaassen, Chris A. J.; Ritov, Ya'acov; Wellner, Jon A. (1 de junho de 1998). Efficient and Adaptive Estimation for Semiparametric Models (em inglês). [S.l.]: Springer New York. ISBN 9780387984735 
  6. vaart, A. W. van der; Wellner, Jon (9 de março de 2013). Weak Convergence and Empirical Processes: With Applications to Statistics (em inglês). [S.l.]: Springer Science & Business Media. ISBN 9781475725452 
  7. Romano, Joseph P.; Siegel, A. F. (1 de junho de 1986). Counterexamples in Probability And Statistics (em inglês). [S.l.]: CRC Press. ISBN 9780412989018 
  8. Scheffe, Henry (26 de maio de 2017). «A Useful Convergence Theorem for Probability Distributions». The Annals of Mathematical Statistics (em inglês). 18 (3): 434–438. ISSN 0003-4851. doi:10.1214/aoms/1177730390 
  9. a b CASELLA, GEORGE; BERGER, ROGER L. INFERENCIA ESTATISTICA. [S.l.]: CENGAGE. ISBN 9788522108947 
  10. a b Billingsley, Patrick (1 de março de 1986). Probability and measure (em inglês). [S.l.]: Wiley. ISBN 9780471804789 
  11. a b Dudley, R. M. (14 de outubro de 2002). Real Analysis and Probability (em inglês). [S.l.]: Cambridge University Press. ISBN 9780521007542 
  12. Ledoux, Michel; Talagrand, Michel (9 de março de 2013). Probability in Banach Spaces: Isoperimetry and Processes (em inglês). [S.l.]: Springer Science & Business Media. ISBN 9783642202124 
  13. Williams, David (14 de fevereiro de 1991). Probability with Martingales (em inglês). [S.l.]: Cambridge University Press. ISBN 9780521406055 
  14. a b c d e f Vaart, A. W. van der (19 de junho de 2000). Asymptotic Statistics (em inglês). [S.l.]: Cambridge University Press. ISBN 9780521784504 
  15. Gut, Allan (17 de outubro de 2012). Probability: A Graduate Course (em inglês). [S.l.]: Springer Science & Business Media. ISBN 9781461447078 

Este artigo incorpora material do artigo "Convergência de variáveis aleatórias", do Citizendium, que está sob a licença Creative Commons Attribution-ShareAlike 3.0 Unported, porém não sob a GFDL.