Mediana (estatística)
Mediana é o valor que separa a metade maior e a metade menor de uma amostra, uma população ou uma distribuição de probabilidade. Em termos mais simples, mediana pode ser o valor do meio de um conjunto de dados. No conjunto de dados {1, 3, 3, 6, 7, 8, 9}, por exemplo, a mediana é 6. Se houver um número par de observações, não há um único valor do meio. Então, a mediana é definida como a média dos dois valores do meio. No conjunto de dados {3, 5, 7, 9}, a mediana é .[1]
A mediana é uma medida comum das propriedades de conjuntos de dados em estatística e em teoria das probabilidades, com importância central na estatística robusta. A estatística robusta é mais resistente, com ponto de ruptura de 50%. A mediana não fornece resultados arbitrariamente grandes desde que mais da metade dos dados não esteja contaminada.
A vantagem da mediana em relação à média é que a mediana pode dar uma ideia melhor de um valor típico porque não é tão distorcida por valores extremamente altos ou baixos. Em estudos estatísticos sobre renda familiar ou outros ativos voláteis, a média pode ser distorcida por um pequeno número de valores extremamente altos ou baixos.
História
editarA ideia de mediana aparece no século XIII no Talmude[2][3] e mais tarde no livro Certaine Errors in Navigation, na seção sobre determinação da localização com bússola. O livro foi escrito pelo matemático Edward Wright em 1599, que achou que o valor era o mais provável de ser o correto em uma série de observações.
Em 1757, Ruđer Bošković desenvolve um método de regressão baseado no espaço L1 e implicitamente na mediana.[4] Em 1774, Pierre Simon Laplace sugere o uso da mediana como o estimador padrão do valor da média de uma distribuição posteriori: o critério foi minimizar a magnitude esperada do erro , em que é a estimativa e é o valor real. O método de Laplace foi amplamente rejeitado por 150 anos em favor do método dos mínimos quadrados de Carl Friedrich Gauss e de Adrien-Marie Legendre, o qual minimiza para obter a média.[5] A distribuição, tanto da média da amostra, quanto da mediana da amostra, foi determinada por Laplace no início dos anos 1800.[6][7]
Em 1843, Antoine Augustin Cournot foi o primeiro matemático a usar o termo mediana para o valor que divide a distribuição de probabilidade em duas metades iguais. Gustav Fechner usou o termo mediana para fenômenos sociológicos e psicológicos.[8] Mediana tinha sido usada anteriormente apenas na astronomia e em áreas correlatas. Embora tenha sido usada anteriormente por Laplace, Fechner popularizou a mediana na análise formal de dados.[8]
Em 1881, Francis Galton usou o termo mediana em Inglês[9] depois de usar os termos middle-most value em 1869 e medium em 1880.
Conceitos básicos
editarA mediana é usada principalmente em distribuições distorcidas, que resumem a tendência central diferentemente da média aritmética. Seja o multiconjunto {1, 2, 2, 2, 3, 14}. Por ser menos susceptível a valores excepcionalmente altos ou baixos, a mediana de valor 2 pode ser uma melhor indicação de tendência central que a média aritmética de valor 4.[10]
Mediana é uma técnica comum na estatística descritiva e representação de dados estatísticos, uma vez que é fácil de calcular e simples de entender e fornece uma medida mais robusta na presença de outliers (valores atípicos) que a média. Entretanto, a relação empírica amplamente citada entre as localizações relativas da média e da mediana para distribuições distorcidas (a média está a direita da mediana para distribuições distorcidas a direita e a média está a esquerda da mediana para distribuições distorcidas a esquerda) geralmente não é verdadeira.[11] No entanto, há várias relações para a diferença absoluta entre elas.
Mediana não identifica um valor específico dentro de um conjunto de dados, uma vez que mais de um valor pode ter o valor da mediana. Com um número par de observações, nenhum valor precisa ter exatamente o valor da mediana. Porém, o valor da mediana é unicamente determinado pela definição usual.[10]
Como é baseada no valor do meio de um conjunto de dados, não é necessário saber os valores dos elementos extremos para calcular a mediana. Seja um teste psicológico que pretende investigar o tempo necessário para resolver um problema. Se um pequeno número de pessoas não conseguir resolver um problema em um determinado tempo, a mediana ainda pode ser calculada.[12]
Cálculos básicos
editarA mediana de uma lista finita de números pode ser encontrada organizando os números do menor para o maior. Se houver um número ímpar de elementos, o número do meio é o valor do meio (na amostra de sete elementos {1, 3, 3, 6, 7, 8, 9}, a mediana é 6). [10] Se houver um número par de elementos, não há um único valor do meio. Então, a mediana é definida como a média dos dois valores do meio e (na amostra de oito elementos {1, 2, 3, 4, 5, 6, 8, 9}, a mediana é a média ).[13][14] Em termos mais técnicos, é a interpretação da mediana como mid-range.
A fórmula usada para encontrar a posição de um valor do meio em uma amostra de elementos organizados em ordem crescente é , que fornece tanto o valor médio para um número ímpar de elementos quanto o ponto médio entre dois valores do meio para um número par de elementos. Em uma amostra de quatorze elementos, o resultado da fórmula é 7,5 e a mediana é a média entre o sétimo e o oitavo elemento (também é possível calcular a mediana com o diagrama ramo-e-folha).[10]
Não há uma notação padrão amplamente aceita para a mediana, mas alguns autores representam a mediana de uma variável como , como [1] e às vezes como .[15][16][17] Em qualquer um dos casos, o uso dos mesmos ou de outros símbolos para a mediana precisam ser explicitamente definidos quando são introduzidos.
Exemplos
editarPopulação com número de elementos ímpar
editarPara a população , a posição do valor médio é:
,
em que é o número de dados ou de elementos da amostra.
Logo, a mediana é o terceiro elemento (5) e é igual a média (5).
Para a população , a posição do valor médio é a mesma
em que é o número de dados ou de elementos da amostra.
Logo, a mediana é o terceiro elemento (4), mas não é igual a média (6).[18]
População com número de elementos par
editarPara a população , não há valor com a posição 3,5. Logo a mediana é calculada por meio da média dos valores centrais, o terceiro e o quarto elemento. O valor da mediana é: . Já o valor da média é 7.
Em um conjunto de dados com números repetitivos , a mediana também é calculada por meio da média dos valores centrais, o nono e o décimo elemento. O valor da mediana é:
.[19]
Mediana para dados ordenados
editarMediana pode ser usada como medida de tendência central, medida de posição ou medida de localização quando a distribuição é distorcida, quando os valores finais não são conhecidos ou quando importâncias reduzidas são anexadas aos outliers (por exemplo, quando podem existir erros de medição). A mediana é definida por dados unidimensionais ordenados e é independente de qualquer distância métrica (por exemplo, a média geométrica é definida por qualquer número de dimensões).[21]
A mediana é uma das alternativas para resumir os valores típicos associados aos elementos da população estatística. Logo, a mediana é um possível parâmetro de localização. A mediana é o 2° quartil, 5° decil e 50° percentil. Ela pode ser calculada para dados ordenados, mas não para dados categóricos (por exemplo, é possível calcular a mediana das notas de estudantes avaliados entre A e F, mas não é possível calcular a mediana entre os sexos ou entre as nacionalidades dos estudantes).[22]
Quando a mediana é usada como parâmetro de localização na estatística descritiva, há várias opções de medidas de dispersão como a amplitude, o intervalo interquartil, o desvio absoluto da média e o desvio absoluto da mediana.[21]
Para objetivos práticos, diferentes medidas de localização e de dispersão são frequentemente comparados com base em o quão bem os valores populacionais correspondentes podem ser estimados a partir da amostra. Inclusive, a mediana tem boas propriedades para tais estimativas. Embora não sejam geralmente ótimas, as propriedades da mediana são razoavelmente boas quando determinada distribuição de população é conhecida.[21]
Por exemplo, a comparação da eficiência de estimadores candidatos mostra que a média amostral é mais eficiente que a mediana amostral quando os dados não estão contaminados por dados de distribuições de cauda pesada ou de misturas de distribuição, mas que a média amostral é menos eficiente que a mediana amostral em caso contrário, o que acontece em uma ampla variação de distribuições. Especificamente, a mediana tem 64% de eficiência em comparação com a variação mínima da média para amostras normais grandes, o que significa que a variância da mediana é aproximadamente 50% maior que a variância da média.[21]
Distribuições de probabilidade
editarPara qualquer distribuição de probabilidade em com função distribuição acumulada , independentemente do tipo de distribuição de probabilidade contínua, em particular, uma distribuição absoluta contínua com função densidade ou uma distribuição discreta, uma mediana é definida como qualquer número real que satisfaz as desigualdades:
ou igualmente as desigualdades:
,
em que a integral de Lebesgue–Stieltjes é usada.[23]
Para uma distribuição de probabilidade absoluta contínua com função densidade , a mediana satisfaz:
Qualquer distribuição de probabilidade em tem pelo menos uma mediana, mas ela pode ter mais de uma mediana. Quando a mediana é única, alguns estatísticos falam da mediana corretamente. Quando a mediana não é única, alguns estatísticos falam da mediana informalmente.
Medianas de distribuições particulares
editarMedianas de certos tipos de distribuições podem ser calculadas facilmente a partir dos seus parâmetros. Medianas existem mesmo para algumas distribuições sem média bem definida como a distribuição de Cauchy:
- Uma mediana de uma distribuição simétrica que possui uma média μ também possui valor μ.[24]
- Uma mediana de uma distribuição normal com média μ e variância σ2 possui valor μ. Para uma distribuição normal, média = mediana = moda.[24]
- Uma mediana de uma distribuição uniforme no intervalo [a, b] possui valor , que também é a média.[25]
- Uma mediana de uma distribuição de Cauchy com parâmetro de localização x0 e parâmetro de escala y possui valor x0 (parâmetro de localização).[26]
- Uma mediana de uma lei de potência x−a, com expoente a > 1 é 21/(a − 1)xmin, em que xmin é o valor mínimo para que a lei de potência exista.[27]
- Uma mediana de uma distribuição exponencial com parâmetro de taxa λ é o logaritmo natural de 2 dividido pelo parâmetro de taxa λ−1ln 2.[28]
- Uma mediana de uma distribuição de Weibull com parâmetro de forma k e parâmetro de escala λ é λ(ln 2)1/k. [29]
Propriedades
editarPropriedade da otimização
editarO erro absoluto médio de uma variável real com relação a uma variável aleatória é ,[30] em que é o valor absoluto. Seja uma variável aleatória tal que a esperança existe. Então, é a mediana de se e somente se for minimizador do erro absoluto médio com relação à [31]: . Em particular, é a mediana da amostra se e somente se for minimizador da média aritmética dos desvios absolutos.
Em termos mais gerais, uma mediana é definida como o minimizador de , como discutido abaixo na seção sobre medianas multivariadas, especialmente mediana espacial. Essa definição baseada na otimização da mediana é útil em análise de dados estatísticos como no agrupamento de k-medians.[30]
Distribuições unimodais
editarÉ possível mostrar para uma distribuição modal que a mediana e a média estão dentro de desvio-padrão de cada uma.[32]
Em símbolos,
.[33]
Uma relação semelhante é mantida entre a mediana e a moda, que estão dentro de desvio-padrão de cada uma. Em símbolos,
Desigualdade entre média e mediana
editarSe a distribuição de probabilidade tiver variância finita, a distância entre a mediana e a média é limitada por um desvio-padrão. Esse limite foi provado por Mallows,[34] que usou a desigualdade de Jensen duas vezes:
A primeira e a terceira desigualdade vêm da desigualdade de Jensen aplicada à função de valor absoluto e à função quadrada, ambas convexas. A segunda desigualdade vem da minimização da função de desvio absoluto pela mediana, em que: .
Essa prova pode facilmente ser generalizada para uma versão multivariada da desigualdadeː[36] ,
em que é uma mediana espacial. Isto é, em que é um minimizador da função
A mediana espacial é única quando a dimensão do conjunto de dados é igual ou maior que dois.[37][38] Uma prova alternativa usa a desigualdade unilateral de Chebyshev, que aparece em uma desigualdade em parâmetros de localização e de escala.
- Demonstração: dada uma amostra de 40 casas com seus respectivos números de quartos, em .
- Temos que a .
- Essa distância entre mediana (2) e média (4), que no exemplo é o dobro, explica que há muitas observações com valores próximos à mediana, contudo, também existem extremos que influenciam na média (no caso, a influência vem de existir três casas com mais quartos: 15, 18 e 41).
- Pela demonstração se evidencia que a mediana não é sensível às variações de seus extremos.
Desigualdade de Jensen
editarA desigualdade de Jensen afirma que para qualquer variável aleatória com esperança finita, , para qualquer função convexa :
Se é uma variável real com uma mediana única e é uma função .[40] Então:
.[41]
Uma função é uma função real definida no conjunto dos números reais , sendo que para qualquer real:
é um intervalo fechado, um singleton ou um conjunto vazio.
Cálculo para grandes amostras
editarEmbora os itens de algoritmo de ordenação requeiram O (n log n) operações, algoritmos de seleção podem computar o menor k-ésimo de itens com apenas O(n) operações. Isso inclui a mediana, a ésima ordem estatística (ou para um número par de amostrar, a média das duas ordens estatísticas médias).[42]
Os algoritmos de seleção também tem a desvantagem de requerer uma memória O(n), que significa que eles precisam ter a memória da amostra inteira ou da porção de tamanho linear da amostra. Como o requisito da memória pode ser restritivo (assim como o requisito do tempo linear), vários procedimentos de estimativa para a mediana tem sido desenvolvidos.[43]
Um procedimento de estimativa simples é a mediana de regra três, que estima a mediana como a mediana de uma subamostra de três elementos. Seja uma amostra com elementos . Então
Isso é comumente usada como uma subrotina do algoritmo de classificação quicksort, que usa uma estimativa da mediana de input. Uma estimativa mais robusta é a nona de Tukey, a mediana de regra três aplicada com recurso limitadoː[44]
.[45]
Por exemplo, temos uma amostra com elementos . Então
,
,
,
e
. [45]
Esse estimador "re–mediana" requer um tempo linear e uma memória sublinear, operando em uma única passagem sobre a amostra.[46]
Distribuição de mediana amostral
editarA distribuição tanto da média da amostra quanto da mediana da amostra foram determinadas por Laplace.[47] A distribuição da mediana da amostra de uma população com uma função densidade é assintoticamente normal com média e variância[48]
,
em que é o valor médio da distribuição e é o tamanho da amostra. Na prática, por definição.[49]
Os resultados também têm sido estendidos.[50] É sabido que para o –ésimo quantil a distribuição da –ésima amostra é assintoticamente normal em torno do –ésimo quantil com variância igual a
,
em que é o valor da densidade de distribuição no –ésimo quantil. [51]
No caso de uma variável discreta, a distribuição da amostra da mediana para pequenas amostras pode ser estudada da seguinte maneira. Seja um tamanho de amostra com número ímpar de elementos . Se um dado valor for a mediana da amostra, então duas condições devem ser satisfeitas.[52]
- No máximo, observações podem ter valor menor ou igual a .[52]
- No mínimo, observações devem ter valor menor ou igual a .[52]
Seja o número de observações com valor menor ou igual a . Seja o número de observações com valor exato . Então, tem valor mínimo 0 e valor máximo , enquanto tem valor mínimo (para totalizar pelo menos observações) e valor máximo (para totalizar pelo menos observações).[51]
Se uma observação tem valor menor ou maior que , não é relevante o quão abaixo ou o quão acima de é o valor. Logo, é possível representar as observações pela distribuição trinomial com probabilidades , e . Portanto, a probabilidade de a mediana ter valor é dada por:
Somar isso a todos os valores define uma distribuição apropriada e fornece uma soma unitária. Embora a função geralmente não seja conhecida, ela pode ser estimada de uma distribuição de frequência observada. É o exemplo da tabela seguinte. Embora a distribuição atual não seja conhecida, a amostra de 3.800 observações permite uma avaliação suficientemente precisa de .
v | 0 | 0,5 | 1 | 1,5 | 2 | 2,5 | 3 | 3,5 | 4 | 4,5 | 5 |
---|---|---|---|---|---|---|---|---|---|---|---|
f(v) | 0,000 | 0,008 | 0,010 | 0,013 | 0,083 | 0,108 | 0,328 | 0,220 | 0,202 | 0,023 | 0,005 |
F(v) | 0,000 | 0,008 | 0,018 | 0,031 | 0,114 | 0,222 | 0,550 | 0,770 | 0,972 | 0,995 | 1,000 |
Com os dados é possível investigar o efeito do tamanho da amostra nos erros padrões da média e da mediana. A média observada é 3,16. A mediana bruta observada é 3 e a mediana interpolada observada é 3,174. A tabela seguinte fornece algumas estatísticas de comparação. O erro padrão da mediana é dado tanto da expressão quanto da aproximação assintótica dadas anteriormente.[53]
TAMANHO DA AMOSTRA | 3 | 9 | 15 | 21 |
---|---|---|---|---|
Valor esperado da mediana | 3,198 | 3,191 | 3,174 | 3,161 |
Erro padrão da mediana | 0,482 | 0,305 | 0,257 | 0,239 |
Erro padrão da mediana (aproximação assintótica) | 0,879 | 0,508 | 0,393 | 0,332 |
Erro padrão da média | 0,421 | 0,243 | 0,188 | 0,159 |
O valor esperado da mediana diminui ligeiramente à medida que a medida da amostra aumenta, uma vez que os erros padrão tanto da média quanto da mediana são proporcionais à raiz quadrada inversa do tamanho da amostra.
No caso de uma variável contínua, o argumento seguinte pode ser usado. Se um dado valor for a mediana, então uma observação precisa assumir o valor . A probabilidade elementar é . Então, das observações precisam ser maiores que e as outras das observações precisam ser menores que . A probabilidade é o -ésimo termo de uma distribuição binomial com parâmetros e .
Multiplica-se por porque qualquer uma das observações na amostra pode ser a mediana da observação. Então, a probabilidade elementar da mediana no ponto é dada por:
Introduz-se a função beta. Para os argumentos inteiros e , pode-se expressar . Também, nota-se que . Usando as relações anteriores e igualando e a permite-se que a última expressão seja escrita como
.[53]
Então, a função densidade da mediana é uma distribuição simétrica sobre o intervalo da unidade que suporta . A média é 0,5 e o desvio-padrão (erro padrão da mediana da amostra) é .[54] Tais condições apenas podem ser usadas se for conhecido ou puder ser assumido, puder ser integrado para encontrar e puder ser invertido, o que nem sempre será o caso. Mesmo quando for o caso, os pontos de corte para podem ser calculados diretamente sem recurso para a distribuição na mediana no intervalo da unidade. Embora seja interessante na teoria, o resultado não é muito útil na prática.
Estimativa da variância a partir de dados da amostra
editarO valor — que é o valor assintótico de , quando tamanho da amostra , em que é a mediana da população — tem sido estudado por diferentes autores. O método jackknife delete one padrão produz resultados inconsistentes.[55] O método delete — em que aumenta com o tamanho da amostra — tem mostrado ser uma alternativa assintoticamente consistente apesar de computacionalmente cara para grandes conjuntos de dados.[56] Uma estimativa bootstrap é conhecida por ser consistente,[57] mas converge muito lentamente (ordem de ).[58] Outras alternativas têm sido propostas, porém seus comportamentos podem diferir entre pequenas e grandes amostras.[59]
Eficiência
editarMedida como a razão entre a variância da média e a variância da mediana, a eficiência da mediana da amostra depende do tamanho da amostra e da distribuição da população subjacente. Para uma amostra de tamanho de uma distribuição normal, a razão é[60]
.
Para grandes amostras ( tendendo ao infinito), a razão tende a ser
.[61]
Outros estimadores
editarPara distribuições univariadas que são simétricas em relação a uma mediana, o estimador de Hodges–Lehmann é um estimador altamente eficiente e robusto da mediana da população.[62]
Se os dados forem representados por um modelo estatístico especificando uma família particular de distribuições de probabilidade, então estimativas da média podem ser obtidas ajustando a família de distribuições de probabilidade e calculando a mediana teórica da distribuição ajustada. A interpolação de Pareto é uma aplicação quando a população é assumida como tendo um princípio de Pareto.
Coeficiente de dispersão
editarO coeficiente de dispersão (CD) é definida como a razão entre o desvio médio absoluto da mediana e a mediana dos dados.[63] É uma medida estatística usada pelos estados norte-americanos de Iowa, Nova Iorque e Dakota do Sul em estimativa de impostos.[64][65][66]
Em símbolos,
,
em que é o tamanho da amostra, é a mediana da amostra e é a variável. A soma é tomada em toda a amostra.[67] Intervalo de confiança para coeficiente de dispersão quando tamanho da amostra é grande foi derivado por Bonett e Seier.[63]
Mediana multivariada
editarAté agora foi discutida mediana univariada, quando a amostra ou a população possuem uma dimensão. Quando a dimensão é igual ou maior que dois, há múltiplos conceitos que ampliam a definição de mediana univariada. Cada uma das medianas multivariadas concorda com uma mediana univariada quando a dimensão é exatamente um.[62][68][69][70]
Mediana marginal
editarA mediana marginal é definida para vetores definidos em relação a um conjunto fixo de coordenadas. A mediana marginal é definida como o vetor, cujos componentes são medianas univariadas. A mediana marginal é fácil de computar, e suas propriedades foram estudadas por Puri e Sen.[62][71]
Mediana espacial
editarPara vetores em um espaço normado, a mediana espacial minimiza a distância média
em que e são vetores.
A mediana espacial é única quando a dimensão do conjunto de dados é maior ou igual a dois e a norma é euclidiana (ou outra norma estritamente convexa).[37][38][60] A mediana espacial também é chamada mediana L1, mesmo quando a norma é euclidiana. Outros nomes são usados especialmente para conjuntos finitos de pontos como mediana geométrica, ponto de Fermat (em mecânica), ponto de Weber ou Fermat-Weber (na teoria da localização geográfica).[72]
Em geral, uma mediana espacial é definida como o minimizador de:
A definição geral é conveniente para definir uma mediana espacial de uma população em um espaço normal de dimensão finita como para distribuições com uma média finita.[37][60] Medianas espaciais são definidas por vetores aleatórios com valores no espaço de Banach.[37] A mediana espacial é um estimador altamente robusto e eficiente da tendência central de uma população.[60][73][74][75][76]
Outras medianas multivariadas
editarUma generalização alternativa da mediana espacial em dimensões maiores que não tem relação com uma métrica particular é o centerpoint (geometria).
Outros conceitos relacionados a mediana
editarMediana interpolada
editarPara variáveis discretas, às vezes é útil considerar os valores observados como sendo pontos médios de intervalos contínuos subjacentes. Um exemplo é a escala Likert, em que opiniões ou preferências são expressas em uma escala com um conjunto de números de respostas possíveis.[77]
Se a escala consiste de números inteiros positivos, uma observação do número três pode ser considerada como o intervalo entre 2,50 e 3,50. É possível estimar a mediana da variável subjacente. Seja que 22% das observações tenham valor menor ou igual a dois. Seja que 55% das observações tenham valor menor ou igual a três. Então, 33% das observações tem valor igual a três. Logo, a mediana é três porque é o menor valor de para o qual é maior que a metade.[78]
Entretanto, a mediana interpolada é um lugar entre 2,50 e 3,50. É adicionada metade da largura do intervalo à mediada para ter o limite superior do intervalo da mediana. É subtraída a proporção da largura do intervalo que é igual a proporção de 33% acima da marca de 50%. Em outras palavras, são divididos os 33% em 28% abaixo da mediana e 5% acima da mediana e são subtraídos os da largura do intervalo do limite superior de 3,50 para resultar em uma mediana interpolada de 3,35. [78]
Mais formalmente, a mediana interpolada pode ser calculada a partir de:
. [78]
Pseudo-mediana
editarPara distribuições univariadas que são simétricas em torno de mediana, o estimador de Hodges-Lehmann é um estimador da mediana altamente eficiente e robusto; para distribuições não simétricas, o estimador de Hodges-Lehmann também é um estimador da pseudo-mediana populacional altamente eficiente e robusto, em que pseudo-mediana é a mediana de uma distribuição simetrizada e ela é próxima da mediana populacional. O estimador de Hodges-Lehmann tem sido generalizado para distribuições multivariadas.[73][74]
Variantes de regressão
editarO estimador de Theil-Sen é um método para uma regressão linear robusta, baseado no cálculo da mediana dos coeficientes de inclinação.[79]
Filtro da mediana
editarEm processamento de imagens raster monocromáticas, há um ruído conhecido como ruído impulsivo quando cada pixel fica independentemente branco ou preto (como alguma pouca probabilidade). Uma imagem construída em mediana de valores de vizinhos mais próximos (como um quadrado 3X3) pode efetivamente reduzir o ruído. [80]
Clusterização
editarEm clusterização, o agrupamento k-medians fornece uma definição de cluster, na qual o critério de maximização da distância entre cluster–medias usado no agrupamento k-means é substituído pela maximização da distância entre cluster–medianas.[81]
Linha média–mediana
editarÉ um método da regressão robusta. A ideia foi concebida em 1940 por Abraham Wald, que sugeriu dividir um conjunto de dados bivariados em duas metades, dependendo do valor do parâmetro independente . A metade da esquerda teria valores menores que a mediana e a metade da direita teria valores maiores que a média.[82] Wald sugeriu tomar as médias da variável dependente e da variável independente da metade da direita e da metade da esquerda e estimar a inclinação da linha juntando esses dois pontos.
Uma ideia similar foi sugerida em 1942 por Nair and Shrivastava, que preferiram dividir a amostra em três partes iguais antes de calcular as médias das subamostras.[83] Em 1951, Brown e Mood propuseram a ideia de usar as medianas em vez de usar as médias de duas subamostras.[84] Tukey combinou as ideias e recomendou dividir a amostra em três subamostras com tamanhos iguais e estimar a linha com base nas medianas das subamostras.[85]
Estimadores não viesados pela mediana
editarUm estimador não enviesado pela média minimiza o risco (perda esperada) relacionada à função de perda do erro quadrático, como observado por Gauss. Um estimador não viesado pela mediana minimiza o risco relacionado a função de perda do desvio absoluto, com observado por Laplace.
Há outras funções de perda que são usadas na teoria estatística, particularmente na estatística robusta. A teoria dos estimadores não viesados pela mediana foi reavivada por George W. Brown em 1947:[86]
“ | É dito que uma estimativa de um parâmetro unidimensional θ será não viesada pela mediana se, para um θ fixo, a mediana da distribuição da estimativa está no valor θ. Isto é, a mediana da distribuição subestima apenas tantas vezes quanto superestima. Esse requisito parece para a maioria dos propósitos satisfazer tanto quanto o requisito não enviesado pela média e tem a propriedade adicional de ser invariante sob a transformação um–para–um. | ” |
Mais propriedades dos estimadores não viesados pela mediana tem sido reportados.[87][88][89][90] Estimadores não viesados pela mediana são invariantes sob transformações um–para–um.
Há métodos de construção de estimadores não viesados pela mediana que são ideais (no sentido análogo à propriedade da variância mínima considerada para estimadores não viesados pela mediana). Tais construções existem para distribuições de probabilidade com funções da verossimilhança monótonas.[91][92]
Tal procedimento é análogo ao procedimento de Rao–Blackwell para estimadores não viesados pela média. O procedimento é válido para uma pequena classe de distribuições de probabilidade que realiza o procedimento de Rao–Blackwell, mas para uma classe maior de funções de perda.[92]
Ver também
editarReferências
- ↑ a b Weisstein, Eric W. «Statistical Median». MathWorld (em inglês)
- ↑ «Talmud and Modern Economics». Jewish American and Israeli Isssues. Consultado em 14 de novembro de 2016
- ↑ Aumann, Yisrael (2012). «Modern Economic Theory in the Talmud» (PDF). Center for the Study of Rationality – The Hebrew University of Jerusalem. 9 páginas. Consultado em 14 de novembro de 2016
- ↑ Stigler, Stephen M. (1986). The History of Statistics: The Measurement of Uncertainty Before 1900. [S.l.]: Harvard University Press
- ↑ Jaynes, E. T. (2003). Probability Theory: The Logic of Science. [S.l.]: Cambridge University Press. 172 páginas
- ↑ Stigler, Stephen. «Studies in the History of Probability and Statistics. XXXII: Laplace, Fisher and the Discovery of the Concept of Sufficiency». Biometrika: 439 – 445. Consultado em 14 de novembro de 2016
- ↑ Laplace, Pierre Simon (1818). Deuxième Supplément à la Théorie Analytique des Probabilités. [S.l.]: Courcier
- ↑ a b Keynes, John Maynard (1921). A Treatise on Probability. [S.l.]: Macmillan and CO
- ↑ Galton, Fechner (1881). «Report of the Anthropometric Committee». Report of the 51st Meeting of the British Association for the Advancement of Science: 245 – 260. Consultado em 14 de novembro de 2016
- ↑ a b c d Farias, Ana Maria Lima de. «Capitulo 1 - Descrição de dados: tabelas e gráficos» (PDF). Fundamentos de Estatística Aplicada. Universidade Federal Fluminense. p. 24. Arquivado do original (PDF) em 13 de dezembro de 2016
- ↑ «Journal of Statistics Education, v13n2: Paul T. von Hippel». amstat.org
- ↑ Robson, Colin (1994). Experiment, Design and Statistics in Psychology. [S.l.]: Penguin. pp. 42–45. ISBN 0-14-017648-9
- ↑ Weisstein, Eric W. «Statistical Median». MathWorld – A Wolfram Web Resource. Consultado em 14 de novembro de 2016
- ↑ Simon, Laura J. «Descriptive Statistics». Statistical Education Resource Kit. Pennsylvania State Department of Statistics
- ↑ Sheskin, David J. (2003). Handbook of Parametric and Nonparametric Statistical Procedures. [S.l.]: CRC Press. 7 páginas
- ↑ Bissell, Derek (1994). Statistical Methods for Spc and Tqm. [S.l.]: CRC Press. 26 páginas
- ↑ David J. Sheskin (27 de agosto de 2003). Handbook of Parametric and Nonparametric Statistical Procedures: Third Edition. [S.l.]: CRC Press. pp. 7–. ISBN 978-1-4200-3626-8. Consultado em 25 de fevereiro de 2013
- ↑ MENESES, Fabricio (2010). «Noções de Estatística para Concursos». Campus Concursos. p. 9 - 10. Consultado em 21 de novembro de 2016. Arquivado do original em 21 de dezembro de 2016
- ↑ MARTINELLO, Magnos. «Revisão de Estatística e Probabilidade» (PDF). Universidade Federal do Espírito Santo. p. 4. Consultado em 21 de novembro de 2016[ligação inativa]
- ↑ «AP Statistics Review - Density Curves and the Normal Distributions». Consultado em 16 de março de 2015
- ↑ a b c d MEDEIROS, Carlos Augusto de (2007). «Estatística Aplicada a Educação» (PDF). portal.mec.gov. p. 89 - 91. Consultado em 23 de novembro de 2016
- ↑ «QUARTIS». Portal Action. p. 1. Consultado em 5 de novembro de 2016
- ↑ a b «Distribuições de Probabilidade» (PDF). Universidade Federal do Rio Grande do Sul. p. 4. Consultado em 21 de novembro de 2016
- ↑ a b Silvia (20 de setembro de 2012). «A distribuição Normal». Universidade Federal do Paraná. Consultado em 5 de novembro de 2016
- ↑ «Aula 2». Neurociências e Ciências do Comportamento. Faculdade de Medicina de Ribeirão Preto da Universidade de São Paulo (FMRPUSP). p. 23. Consultado em 7 de dezembro de 2016[ligação inativa]
- ↑ «DISTRIBUIÇÃO DE CAUCHY». Portal Action. p. 1. Consultado em 5 de novembro de 2016
- ↑ Newman, Mark EJ. "Power laws, Pareto distributions and Zipf's law." Contemporary physics 46.5 (2005): 323-351.
- ↑ «DISTRIBUIÇÃO EXPONENCIAL». Portal Action. p. 1. Consultado em 5 de dezembro de 2016
- ↑ «Conceitos de Confiabilidade - Características da Distribuição Weibull» (PDF). ReliaSoft Brasil. 21 de outubro de 2005. p. 7. Consultado em 5 de dezembro de 2016
- ↑ a b «Propriedade dos Estimadores». Portal Action. Consultado em 21 de novembro de 2016
- ↑ Stroock, Daniel (2011). Probability Theory. [S.l.]: Cambridge University Press. 43 páginas
- ↑ «The Mean, Median, and Mode of Unimodal Distributions: A Characterization». Theory of Probability & Its Applications: 210 – 223. 2006. Consultado em 14 de novembro de 2016
|coautores=
requer|autor=
(ajuda) - ↑ a b Silva, André Luiz Carvalhal da (2009). Introdução à Análise de Dados. Rio de Janeiro: e-papers. pp. 40 – 41
- ↑ Mallows, Colin (2012). «Another Comment on O'Cinneide». The American Statistician: 256 – 262. Consultado em 14 de novembro de 2016
- ↑ Balestrassi, Pedro Paulo (2007). «Estatística Aplicada» (PDF). UNIFEI. p. 12. Consultado em 24 de novembro de 2016. Arquivado do original (PDF) em 29 de março de 2017
- ↑ Piché, Robert (2012). Random Vectors and Random Sequences. [S.l.]: Lambert Academic Publishing
- ↑ a b c d «The Median of a Finite Measure on a Banach Space: Statistical Data Analysis based on the L1-Norm and Related Methods». Amsterdam: North-Holland Publishing CO. Papers from the First International Conference held at Neuchâtel: 217 – 230. 1987
|coautores=
requer|autor=
(ajuda); - ↑ a b «Uniqueness of the Spatial Median». The Annals of Statistics: 1332 – 1333. 1987. Consultado em 17 de novembro de 2016
|coautores=
requer|autor=
(ajuda) - ↑ Mendes, Eduardo M. A. M. «Introdução aos Processos Estocásticos - desigualdade e Convergência» (PDF). Universidade Federal de Minas Gerais. p. 8. Consultado em 23 de novembro de 2016. Arquivado do original (PDF) em 20 de dezembro de 2016
- ↑ Merkle, Milan. «Jensen's Inequality for Medians». Statistics & Probability Letters: 277 – 281
- ↑ Oliveira, Roberto Imbuzeiro M. F. de. «Notas Sobre Probabilidade Discreta» (PDF). Instituto de Matemática Pura e Aplicada (IMPA). p. 18. Consultado em 30 de novembro de 2016
- ↑ Santos, Alessandro. «Ordenação e Estatística de Ordem» (PDF). alessandrosantos.com.br. p. 100. Consultado em 7 de dezembro de 2016
- ↑ a b Botelho, Fabiano C.; Ziviani, Nivio (26 de março de 2004). «Ordenação» (PDF). Universidade Federal de Minas Gerais. p. 44. Consultado em 7 de dezembro de 2016
- ↑ «Engineering a Sort Function» (PDF). Software — Practice and Experience: 1249 – 1265. 1993. Consultado em 14 de novembro de 2016
|coautores=
requer|autor=
(ajuda) - ↑ a b David, H. A. (1978). Contributions to Survey Sampling and Applied Statistics. New York: Academic Press. pp. 251 – 255
- ↑ «The Remedian: A Robust Averaging Method for Large Data Sets» (PDF). 1990: 97 – 104. Consultado em 14 de novembro de 2016
|coautores=
requer|autor=
(ajuda) - ↑ Stigler, Stephen (1973). «Studies in the History of Probability and Statistics. XXXII: Laplace, Fisher and the Discovery of the Concept of Sufficiency». Biometrika: 439 – 445. Consultado em 15 de novembro de 2016
- ↑ Rider, Paul R. (1960). «Variance of the Median of Small Samples from Several Special Populations». Journal of the American Statistic Association: 148 – 150. Consultado em 15 de novembro de 2016
- ↑ «Distribuição Amostral - Estimação» (PDF). FAU-USP. p. 6. Consultado em 24 de novembro de 2016[ligação inativa]
- ↑ Stuart, Alan; Ord, Keith (1994). Kendall's Advanced Theory of Statistics. Londres: Wiley
- ↑ a b «Distribuições Amostrais». Portal Action. p. 1. Consultado em 24 de novembro de 2016
- ↑ a b c «CAPÍTULO 6 - ESTIMAÇÃO E TESTES DE HIPÓTESES» (PDF). Universidade Tecnológica Federal do Paraná. p. 117. Consultado em 7 de dezembro de 2016
- ↑ a b c d Caruzo, André de Carvalho; Neves, Karina Ferreira; Teixeira, Ricardo Roberto Plaza (2009). «Determinação de Distribuição Trinomiais e suas Aplicações». Inter Science Place. p. 6. Consultado em 24 de novembro de 2016. Arquivado do original em 22 de dezembro de 2016
- ↑ Viali, Lorí. «Estatística Básica» (PDF). PUCRS. p. 12. Consultado em 24 de novembro de 2016
- ↑ Efron, Bradley (1982). The Jackknife, the Bootstrap and other Resampling Plans. Filadélfia: SIAM
- ↑ «A General Theory for Jackknife Variance Estimation». The Annuals of Statistics: 1176 – 1197. 1989. Consultado em 16 de novembro de 2016
|coautores=
requer|autor=
(ajuda) - ↑ Efron, Bradley (1979). «Bootstrap Methods: Another Look at the Jackknife». The Annuals of Statistics: 1 – 26. Consultado em 16 de novembro de 2016
- ↑ «Exact Convergence Rate of Bootstrap Quantile Variance Estimator». Probability Theory and Related Fields: 261 – 268. 1988. Consultado em 16 de novembro de 2016
|coautores=
requer|autor=
(ajuda) - ↑ «Reduced Bootstrap for the Median». Statistica Sinica: 1179 – 1198. 2004. Consultado em 16 de novembro de 2016
|coautores=
requer|autor=
(ajuda) - ↑ a b c d e Kenney, J. F.; Keeping, E. S. (1962). «The Median». Mathematics of Statistics, Pt. 1 3rd ed. Princeton, NJ: Van Nostrand. pp. 211–212
- ↑ Ross, Sheldon (2010). Probabilidade - Um Curso Moderno com Aplicações. Porto Alegre: Bookman. 473 páginas
- ↑ a b c Hettmansperger, Thomas P.; McKean, Joseph W. (1998). Robust Nonparametric Statistical Methods – Kendall's Library of Statistics 5. Londres: Edward Arnold
- ↑ a b «Confidence Interval for a Coefficient of Dispersion in Non-Normal Distributions». Biometrical Journal: 144 – 148. 2006
|coautores=
requer|autor=
(ajuda) - ↑ «Statistical Calculation Definitions for Mass Appraisal» (PDF). Iowa Department of Revenue. Consultado em 16 de novembro de 2016
- ↑ «Assessment Equity in New York: Results from the 2010 Market Value Survey». The New York State Department of Taxation and Finance. Consultado em 16 de novembro de 2016
- ↑ «Summary of the Assessment Process» (PDF). South Dakota Department of Revenue - Property / Special Taxes Division. Consultado em 16 de novembro de 2016
- ↑ Viali, Lorí. «Estatística Básica» (PDF). UFRGS. p. 10. Consultado em 24 de novembro de 2016
- ↑ Small, Christopher G. (1990). «A Survey of Multidimensional Medians». International Statistical Review / Revue Internationale de Statistique: 263 – 277. Consultado em 17 de novembro de 2016
- ↑ «Multivariate Median». Encyclopedia of Statistical Sciences. 2006. Consultado em 17 de novembro de 2016
|coautores=
requer|autor=
(ajuda) - ↑ Mosler, Karl (2012). Multivariate Dispersion, Central Regions, and Depth: The Lift Zonoid Approach. Nova Iorque: Springer – Verlag New York
- ↑ Puri, Madan L.; Sen, Pranab K. (1971). Nonparametric Methods in Multivariate Analysis. Nova Iorque: John Wiley & Sons
- ↑ Wesolowsky, G. (1993). «The Weber Problem: History and Perspective». Location Science: 5 – 23
- ↑ a b c Hannu, Oja (2010). «Multivariate Nonparametric Methods with R: An Approach based on Spatial Signs and Ranks». Nova Iorque: Springer. Lecture Notes in Statistics. 14 páginas
- ↑ a b c Hannu, Oja. «Multivariate Nonparametric Methods with R: An Approach based on Spatial Signs and Ranks». Nova Iorque: Springer. Lecture Notes in Statistics. 232 páginas
- ↑ «The Multivariate L1-Median and Associated Data Depth» (PDF). Proceedings of the National Academy of Sciences of the United States of America: 1423 – 1426. 2000. Consultado em 17 de novembro de 2016
|coautores=
requer|autor=
(ajuda) - ↑ «Breakdown Points of Affine Equivariant Estimators of Multivariate Location and Covariance Matrices». The Annals of Statistics: 229 – 248. 1991. Consultado em 17 de novembro de 2016
|coautores=
requer|autor=
(ajuda) - ↑ Cunha, Luísa Margarida Antunes da (2007). «Modelos Rasch e Escalas de Likert e Thurstone na medição de atitudes» (PDF). Universidade de Lisboa. p. 24. Consultado em 7 de dezembro de 2016
- ↑ a b c Lauretto, Marcelo de Souza. «Estatística descritiva básica: Medidas de tendência central» (PDF). Escola de Artes, Ciências e Humanidades da Universidade de São Paulo (EACHUSP). pp. 12 –13 – 14
- ↑ Wilcox, Rand R. (2011). «Theil–Sen Estimator». Nova Iorque: Springer – Verlag. Fundamentals of Modern Statistical Methods: Substantially Improving Power and Accuracy: 207 – 210
- ↑ Ribeiro, Bruno. «Suavização de Imagens - Image Smoothing» (PDF). Universidade Federal Fluminense. Consultado em 7 de dezembro de 2016
- ↑ Moscato; Zuben, Von. «Uma Visão Geral de Clusterização de Dados» (PDF). Universidade de Campinas. pp. 1 – 2. Consultado em 7 de dezembro de 2016
- ↑ Wald, Abraham (1940). «The Fitting of Straight Lines if Both Variables are Subject to Error». The Annals of Mathematical Statistics: 282 – 300. Consultado em 17 de novembro de 2016
- ↑ «On a Simple Method of Curve Fitting». Sankhyā: The Indian Journal of Statistics: 121 – 132. 1942. Consultado em 17 de novembro de 2016
|coautores=
requer|autor=
(ajuda) - ↑ «On Median Tests for Linear Hypotheses» (PDF). Proc. Second Berkeley Symposium on Mathematical Statistics and Probability: 159 – 166. 1951. Consultado em 17 de novembro de 2016
|coautores=
requer|autor=
(ajuda) - ↑ Tukey, John W. (1977). Exploratory Data Analysis. [S.l.]: Addison – Wesley
- ↑ Brown, George W. (1947). «On Small-Sample Estimation». The Annals of Mathematical Statistics: 582 – 585. Consultado em 17 de novembro de 2016
- ↑ Lehmann, Erich L. (1951). «A General Concept of Unbiasedness». The Annals of Mathematical Statistics: 587 – 592. Consultado em 17 de novembro de 2016
- ↑ Birnbaum, Allan (1961). «A Unified Theory of Estimation, I». The Annals of Mathematical Statistics: 112 – 135. Consultado em 17 de novembro de 2016
- ↑ van der Vaart, H. R. (1961). «Some Extensions of the Idea of Bias». The Annals of Mathematical Statistics: 436 – 447. Consultado em 17 de novembro de 2016
- ↑ Pfanzagl, Johann (1994). Parametric Statistical Theory. Com assistência de R. Hamböker. [S.l.]: Walter de Gruyter
- ↑ Pfanzagl, Johann (1979). «On Optimal Median Unbiased Estimators in the Presence of Nuisance Parameters». The Annals of Statistics: 187 – 193. Consultado em 17 de novembro de 2016
- ↑ a b «A Complete Class Theorem for Strict Monotone Likelihood Ratio With Applications». The Annuals of Statistics: 712 – 722. 1976. Consultado em 17 de novembro de 2016
|coautores=
requer|autor=
(ajuda)