Testes de hipóteses

Teste de hipóteses, teste estatístico ou teste de significância é um procedimento estatístico que permite tomar uma decisão (rejeitar ou não a hipótese nula $H_{0}$) entre duas ou mais hipóteses (hipótese nula $H_{0}$ ou hipótese alternativa $H_{1}$), utilizando os dados observados de um determinado experimento. Há diversos métodos para realizar o teste de hipóteses, dos quais se destacam o método de Fisher (teste de significância), o método de Neyman–Pearson e o método de Bayes.

Por meio da teoria da probabilidade, é possível inferir sobre quantidades de interesse de uma população a partir de uma amostra observada de um experimento científico. Por exemplo, estimar pontualmente e de forma intervalar um parâmetro de interesse, testar se uma determinada teoria científica deve ser descartada, verificar se um lote de remédios deve ser devolvido por falta de qualidade, entre outros. Por meio do rigor matemático, a inferência estatística pode ser utilizada para auxiliar a tomada de decisões nas mais variadas áreas.

Os testes de hipóteses são utilizados para determinar quais resultados de um estudo científico podem levar à rejeição da hipótese nula $H_{0}$ a um nível de significância pré–estabelecido. O estudo da teoria das probabilidades e a determinação da estatística de teste correta são fundamentais para a coerência de um teste de hipótese. Se as hipóteses do teste de hipóteses não forem assumidas de maneira correta, o resultado será incorreto e a informação será incoerente com a questão do estudo científico. Os tipos conceituais de erro (erro do tipo I e erro do tipo II) e os limites paramétricos ajudam a distinguir entre a hipótese nula $H_{0}$ e a hipótese alternativa $H_{1}$.

São fundamentais os seguintes conceitos para um teste de hipóteses:

• Hipótese nula ($H_{0}$): é a hipótese assumida como verdadeira para a construção do teste. É a teoria, o efeito ou a alternativa que se está interessado em testar.
• Hipótese alternativa ($H_{1}$): é considerada quando a hipótese nula não tem evidência estatística.
• Erro do tipo I ($\alpha$): é a probabilidade de se rejeitar a hipótese nula quando ela é verdadeira.
• Erro do tipo II: é a probabilidade de se rejeitar a hipótese alternativa quando ela é verdadeira.

	Hipótese nula $H_{0}$ é verdadeira	Hipótese nula $H_{0}$ é falsa
Hipótese nula $H_{0}$ é rejeitada	Erro do tipo I	Não há erro
Hipótese nula $H_{0}$ não é rejeitada	Não há erro	Erro do tipo II

Origens

O teste de significância é, em grande parte, um produto de Karl Pearson (p–valor e teste qui quadrado de Pearson), William Sealy Gosset (distribuição t de Student) e Ronald Fisher (hipótese nula, análise de variância e teste de significância), enquanto o teste de hipóteses foi desenvolvido por Jerzy Neyman e Egon Pearson (filho do próprio Karl Pearson). Ronald Fisher começou sua vida na estatística na área bayesiana, mas logo se desencantou com a subjetividade envolvida (ou seja, o uso do princípio da indiferença para determinar as probabilidades anteriores) e procurou fornecer uma abordagem mais objetiva da inferência.

Fisher foi um estatístico agrícola que enfatizava o desenho experimental rigoroso e o método para extrair resultado de algumas amostras assumindo as distribuições gaussianas. Neyman enfatizou o rigor matemático e os métodos para obter mais resultados a partir de muitas amostras e uma maior variação de distribuições. Embora os testes de hipóteses modernos tenham sido popularizados no início no século XX, evidências do seu uso podem ser encontradas muito antes. Nos anos 1770, Laplace considerou a estatística de quase meio milhão de nascimentos para mostrar o maior número de meninos em comparação com as meninas. Ele concluiu pelo cálculo do p–valor que o excesso era real, mas inexplicado. Fisher popularizou o teste de significância. Ele exigiu a hipótese nula (correspondente à distribuição da frequência da população) e uma amostra. Seus cálculos determinaram se uma hipótese nula deveria ou não ser rejeitada. O teste de significância não utilizou hipótese alternativa. Então, não havia o conceito erro do tipo II. O p–valor foi concebido como um índice informal (mas objetivo) para ajudar um pesquisador a determinar (com base em outros conhecimentos) se é preciso modificar os experimentos futuros ou fortalecer a crença na hipótese nula.

Os conceitos de "teste de hipóteses", "erro do tipo I" e "erro do tipo II" foram concebidos por Neyman e Pearson como uma alternativa mais objetiva ao p–valor de Fisher para determinar o comportamento do pesquisador sem requerer qualquer inferência indutiva da parte dele. Neyman e Pearson consideraram um problema diferente, o qual chamaram de teste de hipóteses. Fisher e Neyman e Pearson entraram em choque. Neyman e Pearson consideravam sua formulação uma generalização melhorada do teste de significância. Entretanto, seu artigo principal On the Problem of the Most Efficient Tests of Statistical Hypotheses era considerado abstrato. Os matemáticos têm generalizado e refinado essa teoria há décadas. Fisher pensou que isso não era aplicável à pesquisa científica porque geralmente, durante o curso do experimento, descobre–se que as afirmações iniciais sobre a hipótese nula são questionáveis devido às fontes inesperadas de erro. Fisher acreditava que o uso de decisões rígidas para rejeição ou aceitação baseada em modelos formulados antes da coleta de dados era incompatível com este cenário comum enfrentado pelos cientistas e as tentativas para aplicar este método à pesquisa científica poderia provocar uma confusão geral. A disputa entre Fisher e Neyman e Pearson foi travada em bases filosóficas, podendo ser caracterizada como uma disputa sobre o papel apropriado dos modelos na inferência estatística.

Neyman aceitou um cargo no Ocidente, rompendo sua parceria com Pearson. A Segunda Guerra Mundial também interrompeu o debate. A disputa entre Fisher e Neyman terminou sem resolução depois de 27 anos com o falecimento de Fisher em 1962. Neyman escreveu um respeitoso elogio ao estatístico. Posteriormente algumas das publicações de Neyman reportaram p–valores e níveis de significância.

Visão moderna

A visão moderna de teste de hipóteses é um híbrido de duas abordagens que resultou da confusão entre autores de livros estatísticos (como previsto por Fisher), começando nos anos 1940. Por exemplo, detecção de sinal ainda usa a formulação de Neyman e Pearson. Grandes diferenças conceituais e muitas advertências, além das mencionadas acima, foram ignoradas. Neyman e Pearson forneceram a terminologia mais forte, a matemática mais rigorosa e a filosofia mais consistente, mas o conteúdo ensinado atualmente em estatística introdutória tem mais similaridades com o método de Fisher que com o método de Neyman e Pearson. Esta história explica a mistura presente da terminologia. Por exemplo, a hipótese nula nunca é aceita, mas pode ser não rejeitada, porém tem uma região de aceitação.

Por volta de 1940, os autores de livros estatísticos começaram a combinar estas duas estratégias anonimamente, usando o p–valor no lugar do teste estatístico para testar contra o nível de significância de Neyman e Pearson. Portanto, os pesquisadores eram encorajados a inferir a força dos seus dados contra algumas hipóteses nulas, usando p–valores, enquanto eles também pensavam que estavam mantendo a objetividade pós coleta de dados fornecida pelo teste de hipóteses. Em seguida, isto se tornou usual para a hipótese nula, que era originalmente uma hipótese de pesquisa realista, que seria usada quase que exclusivamente como a hipótese para a qual o tratamento não tem efeito, independentemente do contexto.

Bayes não viveu na mesma época que Fisher, Neyman e Pearson, mas a teoria bayesiana também tem sido utilizada no contexto de tomadas de decisão. Por exemplo, na medicina.

Escolha da hipótese nula

Paul Meehl argumenta que a importância epistemológica da escolha da hipótese nula não foi reconhecida. Quando a hipótese nula é prevista pela teoria, um experimento mais preciso é um teste mais severo da teoria subjacente. Quando a hipótese nula é sem diferença ou sem efeito, um experimento mais preciso é um teste menos severo da teoria que motivou a realização da experiência.

Os exemplos de escolha da hipótese nula incluem:

1778 – Pierre Laplace compara as taxas de nascimento de meninos e meninas em várias cidades europeias. Laplace afirma que é natural concluir que estas possibilidades estão quase na mesma proporção. Portanto, a hipótese nula de Laplace é que as taxas de nascimento de meninos e meninas devem ser iguais dada a sabedoria convencional.

1900 – Karl Pearson desenvolve o teste qui quadrado para determinar se uma dada forma da curva de frequência descreverá eficientemente as amostras desenhadas a partir de dada população. Portanto, a hipótese nula é que a população é descrita por tal curva de frequência. Pearson usa um exemplo da quantidade de 5 e 6 nos dados do lançamento de dados de Weldon.

1904 – Karl Pearson desenvolve o conceito de contingência para determinar se os resultados são independentes de um dado fator categórico. A hipótese nula é que duas coisas não estão relacionadas (por exemplo, formação de cicatrizes e taxas de morte por varíola). Neste caso, a hipótese nula não é mais prevista pela teoria ou pela sabedoria convencional. Em vez disto, ela é prevista pelo princípio da indiferença que levou Fisher e outros a descartar o uso de probabilidades inversas.

Variações

Embora a inferência frequentista e a inferência bayesiana tenham diferenças notáveis, o teste de hipóteses é um princípio fundamental de ambos os métodos. Os testes de hipótese definem um procedimento que controla (corrige) a probabilidade de se rejeitar a hipótese nula incorretamente. O procedimento baseia–se na probabilidade de ocorrer um conjunto de observações se a hipótese nula for verdadeira. Esta probabilidade de tomar uma decisão incorreta não é a probabilidade de a hipótese nula ser verdadeira, nem mesmo se qualquer hipótese alternativa for verdadeira. Isto contrasta com outras possíveis técnicas da teoria da decisão, em que hipótese nula e hipótese alternativa são tratadas em uma base mais igualitária.

Uma abordagem bayesiana ingênua para o teste de hipóteses é basear as decisões na probabilidade a posteriori, mas isto falha quando as hipóteses pontuais e contínuas são comparadas. Outras abordagens para a tomada de decisão como a teoria da decisão bayesiana tentam equilibrar as consequências das decisões incorretas dentre todas as possibilidades ao invés de se concentrarem em uma única hipótese nula. Uma série de outras abordagens para a tomada de decisão com base em dados estão disponíveis por meio da teoria da decisão e da decisão ótima, algumas das quais possuem propriedades desejáveis. Entretanto, o teste de hipóteses é uma abordagem dominante na análise de dados em muitos campos da ciência. As extensões dos testes de hipóteses incluem o estudo do poder dos testes de hipótese. Isto é, a probabilidade de se rejeitar a hipótese nula corretamente. Estas considerações podem ser usadas para determinar o tamanho da amostra antes da coleta de dados.

Procedimentos para o teste de hipóteses

Relação entre os erros do tipo I e do tipo II associados às distribuições das hipóteses nula e alternativa.

Teste de hipóteses usando região crítica

É possível adotar o seguinte procedimento ao estabelecer o teste de hipóteses:

1. Escolher a hipótese nula e a hipótese alternativa com base no problema.
2. Estabelecer a estimativa de teste (média, desvio padrão, distribuição) para testar a hipótese nula a partir da teoria estatística e das informações disponíveis no problema.
3. Determinar um valor para o erro do tipo I (nível de significância). Os valores comuns são 5% e 1%. Construir a região crítica com o valor do erro do tipo I, os parâmetros os quais deseja–se testar e os parâmetros obtidos do problema (a região crítica determinará se a hipótese nula será ou não será rejeitada).
4. Retirar uma amostra da população. Fazer os cálculos para determinar o valor da estimativa de teste a partir das observações da amostra da população. Geralmente as observações seguem uma distribuição normal (estatística de teste Z) ou uma distribuição t de Student (estatística de teste t).
5. Se o valor da estatística (por exemplo, de teste Z ou de teste t) pertencer à região crítica definida pelo nível de significância, rejeitar a hipótese nula. Em caso contrário, não rejeitar a hipótese nula.
6. Para os casos em que não for possível rejeitar a hipótese nula, o procedimento pode ser repetido com diferentes valores para o nível de significância para dar maior precisão à decisão pelo cálculo da região crítica e da estatística de teste.

Teste de hipóteses usando p–valor

Há um caminho mais rápido para o teste de hipótese. Em vez de se construir uma região crítica, calcula–se diretamente o p–valor. O p–valor é uma estatística muito usada para sintetizar o resultado de um teste de hipóteses. Formalmente, o p–valor é definido como a probabilidade de obter–se uma estatística de teste igual ou mais extrema que a estatística observada a partir de uma amostra de uma população assumindo–se a hipótese nula como verdadeira. Na literatura, o p–valor também é chamado de probabilidade de significância.

1. Calcular a estatística de teste (por exemplo, de teste Z ou de teste t) a partir das observações.
2. Calcular o p–valor.
3. Rejeitar a hipótese nula, se e somente se o p–valor for menor que o nível de significância pré–estabelecido.

Equivalência

Testes de hipótese via região crítica ou p-valor são equivalentes. O primeiro procedimento era mais vantajoso no passado, quando tabelas de estatísticas de teste, com os limiares de probabilidade das distribuições mais comuns, eram mais facilmente acessíveis que recursos computacionais. Essas tabelas permitiam que decisões fossem tomadas sem cálculos mais complexos de probabilidade; o que era adequado para uso operacional ou em sala de aula, mas deficiente para a demonstração de resultados. O segundo procedimento é acessível por tabelas mais extensas ou por suporte computacional, nem sempre disponíveis. Hoje, os cálculos de probabilidade, úteis para a elaboração de relatórios, são trivialmente realizados com os softwares apropriados.

Os procedimentos descritos são perfeitamente adequados para a computação. Eles negligenciam o projeto de considerações dos experimentos. É particularmente crítico que tamanhos apropriados de amostras sejam estimados antes da realização do experimento.

Interpretação

Se o p–valor for menor que o nível de significância determinado ou se a estatística de teste observada estiver dentro da região crítica, então a hipótese nula é rejeitada. Há uma conclusão. No exemplo do julgamento no tribunal, seria como se as evidências fossem suficientes para rejeitar a inocência e aceitar a culpa do réu. Se o p–valor não for menor que o nível de significância determinado (se a estatística de teste observada estiver fora da região crítica), então o teste não tem resultado. Não há uma conclusão. Isto seria como se o juri não conseguisse chegar a um veredicto. O pesquisador geralmente apresenta considerações adicionais nos casos em que o p–valor é próximo do nível de significância. Há algumas pessoas que acham útil pensar a estrutura do teste de hipóteses como análoga à prova matemática por contradição.

É importante notar a diferença entre aceitar a hipótese nula e simplesmente falhar em rejeita–la. O termo falhar em rejeitar destaca que a hipótese nula é assumida como verdadeira desde o início do teste. Se há falta de evidências, a hipótese nula simplesmente continua a ser assumida como verdadeira. O termo aceitar a hipótese nula pode sugerir que a hipótese nula foi provada simplesmente por não ter sido refutada, uma falácia lógica conhecida como argumento da ignorância. A menos que um teste com poder particularmente alto seja usado, a ideia de aceitar a hipótese nula pode ser perigosa. Entretanto, o termo prevalece em toda a estatística em que o significado realmente pretendido é bem compreendido.

Se a rejeição da hipótese nula justifica verdadeiramente a aceitação da hipótese de pesquisa, isso depende da estrutura da hipótese. Por exemplo, rejeitar a hipótese de que a pegada de uma grande pata originou–se de um urso não significa aceitar imediatamente a existência do pé grande. Os testes de hipótese enfatizam a rejeição, que é baseada na probabilidade em vez da aceitação. Isso requer mais etapas de lógica. De acordo com David Bakan, a probabilidade de rejeitar a hipótese nula é uma função de cinco fatores: se o teste tem uma ou duas caudas, o nível de significância, o desvio padrão, a quantidade da hipótese nula e o número de observações. Estes fatores são fontes de críticas, uma vez que os fatores sob controle do pesquisador confere aos resultados a aparência de subjetividade.

Uso e importância

Os testes de hipóteses desempenham um papel importante em inferência estatística e em estatística como um todo. Em uma análise do artigo de Neyman e Pearson, o professor do Departamento de Estatística da Universidade da Califórnia chamado E. L. Lehmann afirma que o novo paradigma formulado no artigo de 1933 e os seus desenvolvimentos continuam a desempenhar um papel central tanto na teoria quanto na prática em estatística.

As aplicações práticas do teste de hipóteses incluem:

• Testar se mais homens que mulheres sofrem com pesadelos.
• Estabelecer autoria de documentos.
• Avaliar o efeito da lua cheia no comportamento.
• Determinar o intervalo no qual um morcego pode detectar um inseto pelo eco.
• Decidir se o carpete de hospital resulta em mais infecções.
• Selecionar os melhores meios para parar de fumar.
• Checar se adesivos refletem no comportamento de proprietários de carros.
• Testar as reivindicações de analistas de manuscritos.

O teste de significância é uma das ferramentas estatísticas favoritas de algumas ciências sociais experimentais (outras áreas têm favorecido a estimação de parâmetros como o tamanho de efeito), usado como substituto da comparação tradicional do valor previsto e do resultado experimental no método científico. Por exemplo, mais de 90% dos artigos do Journal of Applied Psychology no início da década de 1990.

Cuidados

De acordo com David Moore, se o governo requeresse que procedimentos estatísticos apresentassem rótulos de advertência nos moldes daqueles contidos em medicamentos, a maioria dos métodos de inferência com certeza teria longos rótulos. Estes cuidados aplicam–se aos testes de hipóteses e às suas alternativas. Um teste de hipóteses de sucesso está associado à probabilidade e à taxa de erro do tipo I (a conclusão de um teste de hipóteses depende da solidez da amostra). É muito importante o desenho do experimento, uma vez que efeitos inesperados podem ser observados.

Estes efeitos inesperados incluem:

• O efeito do Hans esperto, em que um cavalo parecia ser capaz de fazer aritmética simples.
• O efeito Hawthorne, em que trabalhadores industriais eram mais produtivos com melhor iluminação e menos produtivos com pior iluminação.
• O efeito placebo, em que pílulas sem componentes medicamente ativos eram notadamente eficazes.

Uma análise estatística de dados enganosos produz conclusões enganosas. A questão da qualidade dos dados pode ser mais sutil. Em previsões, não há concordância sobre a precisão de uma medida de previsão. Na ausência de uma medida de consenso, nenhuma decisão baseada em medições será tomada sem controvérsia. Um dos livros mais populares sobre estatística, Como Mentir com Estatística, não fala muito sobre teste de hipóteses, mas chama atenção para o fato que muitas alegações são feitas com base em amostras muito pequenas para convencer (se um relatório não menciona o tamanho da amostra, é preciso duvidar dele).

Os testes de hipóteses agem como um filtro das conclusões estatísticas. Apenas os resultados que atendam a um limiar de probabilidade são publicáveis. A economia também age como um filtro de publicação. Somente os resultados favoráveis ao autor e à fonte de financiamento podem ser submetidos para publicação. O impacto das filtragens nas publicações é denominado viés de publicação.

Por exemplo, os testes múltiplos (às vezes relacionados à mineração de dados) podem ser um problema. Nos testes múltiplos, uma variedade de testes para possíveis efeitos são aplicados a um único conjunto de dados e somente os testes que produzem um resultado significante são relatados. Estes testes muitas vezes envolvem procedimentos de correção múltiplos que controlam a taxa de erro de família (FWER) ou a taxa de falsa descoberta (FDR). É prudente tomar decisões críticas com base nos resultados de testes de hipóteses, considerando os detalhes dos procedimentos em vez da conclusão por si só.

Exemplos

Mala radioativa

Considere que um contador Geiger, equipamento de medição de radioatividade, é colocado próximo a uma mala e marca 10 contagens por minuto. Normalmente existe uma radioatividade natural típica do ambiente proveniente do ar e de objetos inofensivos de cerca de 9 contagens por minuto. A hipótese nula é que não há material radioativo na mala. De acordo com a distribuição de Poisson com valor esperado 9, há cerca de 41% de chance de registrar 10 contagens por minuto ou mais. Portanto, podemos dizer que a mala é compatível com a hipótese nula (isto não garante que não há material radioativo, apenas que não há evidências suficientes para sugerir isto). Por outro lado, se a radiação ambiente típica fosse de 3 contagens por minuto, então, a chance de registrar 10 contagens por minuto ou mais em uma distribuição Poisson seria de apenas 0.1%. Isso faria com que a mala não seja compatível com a hipótese nula e que provavelmente existam outros fatores responsáveis pela alta medição.

O teste não acusa diretamente a presença de material radioativo. O teste declara que a afirmação que não há presença de material radioativo é improvável. O duplo negativo (refutando a hipótese nula) do método é confuso, mas usar um contra-exemplo para refutar a hipótese nula é a prática matemática padrão.

Julgamento no tribunal

O procedimento de um teste estatístico é comparável ao julgamento de um crime. O réu não é considerado culpado na medida em que sua culpa não é provada. O promotor tenta provar a culpa do réu. Quando houver provas de acusação suficientes o réu é condenado. No início do procedimento, há duas hipóteses $H_{0}$ (o réu não é culpado) e $H_{1}$ (o réu é culpado). $H_{0}$ é a hipótese nula, aceita no momento (presunção da inocência). $H_{1}$é a hipótese alternativa, a qual espera-se apoiar.

A hipótese de inocência (Presunção da inocência) somente é rejeitada quando o erro é muito improvável, porque não se quer condenar um réu inocente. Este erro é chamado de erro do tipo I (isto é, a convicção de uma pessoa inocente) e a ocorrência deste erro é controlada para ser rara. Como uma consequência desde comportamento assimétrico, o erro do tipo II (absolver uma pessoa que cometeu um crime) muitas vezes é muito grande.

	$H_{0}$ é verdadeira (o réu não é culpado)	$H_{1}$é verdadeira (o réu é culpado)
Hipótese nula é aceita (absolvição)	Decisão incorreta	Decisão correta (erro do tipo II)
Hipótese nula é rejeitada (condenação)	Decisão meio errada (erro do tipo I)	Decisão meio certa

Um julgamento criminal pode considerar os procedimentos de decisão culpado e não culpado ou evidência e limiar. Por um lado, o réu é julgado. Por outro lado, o desempenho do promotor (o qual detém o ônus da prova) também é julgado. Portanto, um teste de hipóteses pode ser considerado tanto como o julgamento de uma hipótese quanto como o julgamento de uma evidência.

Dama apreciadora de chá

Ver artigo principal: Dama apreciadora de chá

Em um famoso exemplo de teste de hipóteses conhecido como dama apreciadora de chá, o autor Fisher diz que uma colega sua, Dra. Muriel Bristol, afirmou ser capaz de identificar se foi adicionado primeiramente leite ou chá à xícara. Fisher propôs dar 8 xícaras (4 xícaras com leite adicionado primeiramente e 4 xícaras de com chá adicionado primeiramente) em ordem aleatória e perguntar qual a probabilidade de ela chegar ao resultado correto apenas com base nas probabilidades (a hipótese nula era que ela não teria esta capacidade). O teste estatístico era um conta simples de número do sucessos em selecionar quatro xícaras. A região crítica era o caso de quatro sucessos de quatro possibilidades baseadas em um critério de probabilidade convencional $(<5\%,1{\text{ de }}70\approx 1,4\%)$. Fisher afirmou que nenhuma hipótese alternativa era necessária. A dama identificou corretamente cada xícara, o que seria considerado um resultado estatisticamente significativo.

Teste de clarividência

Uma pessoa é testada quanto ao seu poder de clarividência. É mostrada para a pessoa a parte de trás de 25 cartas de um baralho comum, de modo que ela precisa aceitar o naipe da carta. Denomina–se $X$ o número de acertos. Como deseja–se encontrar evidências do poder de clarividência da pessoa, a hipótese nula é que ela não possui esta habilidade e a hipótese alternativa é que ela possui esta habilidade, mesmo que em diferentes graus. Se a hipótese nula é válida, a pessoa pode apenas chutar um naipe.

Como existem 4 naipes em um baralho comum, ela possui ${\frac {1}{4}}$ de chance de acertar o naipe.

Se a hipótese alternativa for válida, a pessoa pode acertar os naipes com probabilidade maior que ${\frac {1}{4}}$.

Sendo $p$ esta probabilidade, podemos construir o teste da seguinte maneira:

$H_{0}:p={\frac {1}{4}}$ (a pessoa está chutando)

$H_{1}:p>{\frac {1}{4}}$ (a pessoa possui dom de clarividência)

Quando a pessoa acertar todas as cartas, ela é considerada clarividente (a hipótese nula é rejeitada). O mesmo acontece para 24 ou 23 acertos. Entretanto, o que acontece para 19, 18 ou 17 acertos? Qual o valor crítico para considerar que a pessoa acertou o naipe das cartas devido à clarividência em vez da sorte? Como determinar o valor crítico?

Por exemplo, se for escolhido o valor crítico $c=25$, muito poucas pessoas testadas serão consideradas clarividentes. Entretanto, se for escolhido o valor crítico $c=10$, um maior número de pessoas serão consideradas clarividentes. Na prática, quem constrói o teste é quem decide o valor crítico. Em outras palavras, escolher o valor crítico é definir o quão frequente serão os erros do tipo I (quantas pessoas acertam o valor crítico apenas com chutes, sem possuírem o poder de clarividência).

É possível calcular a probabilidade para $c=25$ e $c=10$, por exemplo:

$P({\text{rejeitar }}H_{0}|H_{0}{\text{ é válida}})=P(X=25|p={\frac {1}{4}})=\left({\frac {1}{4}}\right)^{25}\approx 10^{-15}$

$P({\text{rejeitar }}H_{0}|H_{0}{\text{ é válida}})=P(X\geq 10|p={\frac {1}{4}})=\sum _{k=10}^{25}P(X=k|p={\frac {1}{4}})\approx 0,07$

Isto indica que com um valor crítico $c=10$, a probabilidade de um falso positivo é muito maior.

Porém, o que acontece se a pessoa não acertar nenhuma das cartas? Também pode existir uma clarividência reversa. A probabilidade de errar o naipe é de ${\frac {3}{4}}$.

Então, existem considerações diferentes no momento de construir o teste de hipóteses:

$P(X=0|H_{0}{\text{ é válida}})=P(X=0|p={\frac {1}{4}})=(1-{\frac {1}{4}}))^{25}\approx 0,00075.$

É bastante improvável que alguém erre todas as cartas. Entretanto, rejeitar a hipótese nula neste caso seria ignorar a característica da pessoa de evitar o naipe correto. É comum para este tipo de problema associar uma estatística para o erro do tipo II (afirmar que uma pessoa não tem o poder de clarividência quando ela tem esta capacidade). Uma solução seria considerar um nível de significância de 1% apenas se a pessoa conseguisse prever corretamente pelo menos 2 cartas (não teria uma probabilidade tão pequena quanto errar todas as cartas).

Problema dos parafusos

Uma construtora utiliza um parafuso importado com propriedades específicas para a manutenção da qualidade das construções. A propriedade mais interessante é a resistência à tração. Há 2 empresas que fabricam este tipo de parafuso, de acordo com as especificações técnicas de seu país. O país A fabrica parafusos com resistência média à tração de 145 kg e desvio padrão de 12 kg. O país B fabrica parafusos com uma média 155 kg e desvio padrão 20 kg. Seja o leilão de um lote deste tipo de parafuso, que sobrou de uma obra em uma determinada região.

Uma construtora interessada em comprar os parafusos precisa saber a origem deles para verificar se eles atendem às especificações do seu país. Um leiloeiro afirma que, antes do leilão, será divulgada a resistência média de uma amostra de 25 parafusos do lote. Como a construtora interessada em comprar os parafusos deve proceder para tomar sua decisão?

Uma resposta coerente é analisar as médias. É possível estipular que para um valor menor que 150 kg (o meio termo entre as duas médias), os parafusos são do país A. Em caso contrário, os parafusos são do país B. No dia do leilão, a resistência média divulgada da amostra é de 148 kg. Isto é, os parafusos são do país A. Entretanto, esta conclusão não poderia ser enganosa? Não seria possível uma amostra de 25 parafusos do país B apresentar resistência média de 148 kg? Seja, portanto, o seguinte teste de hipóteses:

• $H_{0}$ : os parafusos são do país B. Isto é, a resistência média $X$ da amostra segue uma distribuição com média $\mu =155{\text{ kg}}$ e desvio padrão $\sigma =20{\text{ kg}}$.
• $H_{1}$ : os parafusos são do país A. Isto é, a resistência média $X$ da amostra segue uma distribuição com média $\mu =145{\text{ kg}}$ e desvio padrão $\sigma =12{\text{ kg}}$.
• Erro de tipo I: conclui–se que os parafusos são do país A, quando na verdade são do país B. A amostra do país B apresenta média inferior a 150 kg.
• Erro do tipo II: conclui–se que os parafusos são do país B, quando na verdade são do país A. A amostra do país A apresenta média superior a 150 kg.

Então, é possível usar o teorema do limite central para estipular uma média (igual à média da população) e um desvio padrão para a amostra:

$s={\frac {\sigma }{\sqrt {n}}}=4$.

Com a estatística de teste normal Z com os dados da amostra, é possível calcular a probabilidade do erro de tipo I e do erro de tipo II. Para a região crítica (RC), é possível utilizar valores menores ou iguais a 150 kg:

$P({\text{erro I}})=P(X\in RC\mid H_{0}{\text{ é verdadeira}})=$

$P(X\leqslant 150|X\sim N(155;16))=$

$P(Z\leqslant {\frac {150-155}{4}})=$

$P(Z\leqslant -1,25)=$

$0,10565=10,56\%=\alpha$,

em que o valor para a estatística $Z=-1{,}25$ foi obtido a partir de uma tabela de distribuição normal padrão.

Da mesma forma, é possível calcular o erro do tipo II. No entanto, é considerada distribuição do país A (com seu próprio desvio padrão da amostra):

$P({\text{erro II}})=P(X\notin RC\mid H_{1}{\text{é verdadeira}})=$

$P(X>150|X\sim N(145;5,76))=$

$P(Z>{\frac {150-145}{2,4}})=$

$P(Z>2,08)=$

$0,01876=1,88\%=\beta$

Estes resultados indicam que para a regra de decisão definida, há maior probabilidade de se cometer o erro do tipo I em vez do erro do tipo II. Isto é, a regra de decisão privilegia a afirmação de que os parafusos são do país A.

Porém, a construção do teste também está sujeita a erros. Como os valores do erro do tipo I e do erro do tipo II dependem apenas da média da amostra, é possível supor uma média para a qual obtém–se o mesmo valor de $\alpha$ e $\beta$ a partir dos quais é possível tomar uma decisão com maior confiabilidade (esta decisão seria efetiva mesmo que houvesse parafusos de outros países no lote).

Teste de redução de preço

Um comerciante que vende pela internet decidiu verificar se conseguiria aumentar seu lucro se reduzisse o preço da mercadoria. Para isso, estava disposto a reduzir o preço para um grupo aleatório de clientes que visitassem sua loja online (grupo de teste), manter o preço para os demais visitantes (grupo de controle) e medir a conversão de vendas de cada grupo. Na perspectiva do comerciante, o teste seria um sucesso se conseguisse confirmar que as vendas adicionais foram suficientes para compensar a redução do preço.

Esse teste é interessante porque não basta que o resultado mostre um aumento estatisticamente significativo na conversão de vendas, e nem tão pouco na receita, mas sim no lucro. Digamos que o preço da mercadoria atualmente é $ 70, a conversão de vendas é de 4% (ou seja, 4% dos visitantes compram a mercadoria) e o custo de produção da mercadoria é de $ 30. O comerciante quer testar o preço de $ 60. Então, podemos desenhar 3 hipóteses nulas:

• Não há aumento de vendas: Conversão do grupo de teste não é maior do que a do grupo de controle
• Não há aumento em receitas: Conversão do grupo de teste não é maior do que 4,67% (${\textstyle ={\frac {4\%}{60/70}}}$), que é o valor necessário para manter a mesma receita apesar da queda do preço.
• Não há aumento em lucro: Conversão do grupo de teste não é maior do que 5,33% (${\textstyle ={\frac {4\%}{(60-30)/(70-30)}}}$), que é o valor necessário para manter o mesmo lucro apesar da queda do preço.

		Controle	Teste
$p$	Preço	$ 70	$ 60
$n$	Quantidade de visitantes no site	8.000	2.000
$v$	Vendas	320	120
$v/n$	Conversão de vendas	4%	6%

Com esses dados, o comerciante pode tirar algumas conclusões sobre o resultado do teste usando a fórmula de teste z de duas proporções:

$H_{0}$	Estatística z	p-valor	Conclusão considerando nível de significância de 0.05
Não há aumento de vendas	${\frac {6\%-4\%}{\sqrt {{\frac {6\%(1-6\%)}{2000}}+{\frac {4\%(1-4\%)}{8000}}}}}=3,4816$	0,0002	$H_{0}$ rejeitada
Não há aumento em receitas	${\frac {6\%-4,67\%}{\sqrt {{\frac {6\%(1-6\%)}{2000}}+{\frac {4\%(1-4\%)}{8000}}}}}=2,3210$	0,0101	$H_{0}$ rejeitada
Não há aumento em lucro	${\frac {6\%-5,33\%}{\sqrt {{\frac {6\%(1-6\%)}{2000}}+{\frac {4\%(1-4\%)}{8000}}}}}=1,1605$	0,1229	$H_{0}$ não rejeitada

Portanto, mesmo observando uma conversão de 6%, o comerciante ainda não tem confiança para concluir que a redução de preço vale a pena, do ponto de vista de aumento de lucros. Como alternativa, ele poderia deixar o teste vigorar por mais tempo ou aumentar a proporção de visitantes que serão expostos ao preço reduzido. Essas ações fariam com que diminuísse o denominador da estatística z, aumentando a confiança para rejeitar a hipótese nula.

Estatísticas de teste comuns

Teste de hipóteses com uma amostra – É apropriado para comparar a amostra com a população a partir da hipótese. As características da população são conhecidas a partir da teoria ou são calculadas a partir da população.

Teste de hipóteses com duas amostras – É apropriado para comparar duas amostras, tipicamente amostra experimental e amostra de controle a partir de um experimento cientificamente controlado.

Teste pareado – É apropriado para comparar duas amostras quando é impossível controlar variáveis importantes. Em vez de comparar dois conjuntos, os componentes são pareados entre amostras. Então, a diferença entre os componentes se torna a amostra. Tipicamente a média das diferenças é comparada a 0. O cenário comum de exemplo para quando o teste pareado é apropriado é quando um único conjunto de sujeitos de teste tem algo aplicado a eles e o teste destina-se a verificar um efeito.

Teste Z – É apropriado para comparar médias por meio de condições mais rigorosas em relação à normalidade a um desvio padrão conhecido.

Teste t – É apropriado para comparar médias por meio de condições mais relaxadas.

Teste de proporção – É análogo aos testes de médias (proporção de 50%).

Testes qui quadrado – Usam os mesmos cálculos e a mesma distribuição de probabilidade para diferentes aplicações:

• Testes qui quadrado para variância são usados para determinar se uma população normal tem uma variância específica. A hipótese nula é que a população normal tem a variância específica.
• Testes qui quadrado para independência são usados para decidir se duas variáveis são associadas ou independentes. As variáveis são categóricas em vez de numéricas. A hipótese nula é que as variáveis são independentes. Os números usados no cálculo são as frequências observadas e esperadas de ocorrência (a partir de tabelas de contingência).
• Testes qui quadrado de bondade de ajuste são usados para determinar a adequação das curvas ajustadas aos dados. A hipótese nula é que a curva ajustada é adequada. É comum determinar formatos de curvas para minimizar o erro quadrático médio. Então, é apropriado que o cálculo de bondade de ajuste some os erros quadráticos.

Teste F – É comumente usado para decidir se agrupamentos de dados por categorias são significativos. A hipótese nula é que duas variâncias são as mesmas. Então, o agrupamento proposto não é significativo.

Na tabela abaixo, os símbolos usados são definidos na última linha. Há mais testes que podem ser encontrados em outros artigos. Existem provas de que estas estatísticas de teste são apropriadas.

Teste	Fórmula	Notas
Teste Z para uma amostra	$z={\frac {{\overline {x}}-\mu _{0}}{({\frac {\sigma }{\sqrt {n}}})}}$	População normal ou $n>30$ e $\sigma$ conhecido. $z$ é a distância a partir da média em relação ao desvio padrão da média. Para distribuições não normais é possível calcular uma proporção mínima para uma população, que caia dentro de $k$ desvios padrão para qualquer $k$ (ver desigualdade de Chebyshev).
Teste Z para duas amostras	$z={\frac {({\overline {x}}_{1}-{\overline {x}}_{2})-d_{0}}{\sqrt {{\frac {\sigma _{1}^{2}}{n_{1}}}+{\frac {\sigma _{2}^{2}}{n_{2}}}}}}$	População normal e observações independentes e $\sigma _{1}$ e $\sigma _{2}$ são conhecidos.
Teste t para uma amostra	$t={\frac {{\overline {x}}-\mu _{0}}{({\frac {s}{\sqrt {n}}})}},$$df=n-1\$	$n<30$ e $\sigma$ desconhecido.
Teste pareado	$t={\frac {{\overline {d}}-d_{0}}{({\frac {s_{d}}{\sqrt {n}}})}},$$df=n-1\$	População normal ou $n>30$ e $\sigma$ desconhecido ou amostra de tamanho pequeno $n<30$.
Teste t combinado para duas amostras com variâncias iguais	$t={\frac {({\overline {x}}_{1}-{\overline {x}}_{2})-d_{0}}{s_{p}{\sqrt {{\frac {1}{n_{1}}}+{\frac {1}{n_{2}}}}}}},$$s_{p}^{2}={\frac {(n_{1}-1)s_{1}^{2}+(n_{2}-1)s_{2}^{2}}{n_{1}+n_{2}-2}},$ $df=n_{1}+n_{2}-2\$	População normal ou $n_{1}+n_{2}>40$ e observações independentes e $\sigma _{1}=\sigma _{2}$ desconhecidos.
Teste t não combinado para duas amostras com variâncias desiguais (Teste t de Welch)	$t={\frac {({\overline {x}}_{1}-{\overline {x}}_{2})-d_{0}}{\sqrt {{\frac {s_{1}^{2}}{n_{1}}}+{\frac {s_{2}^{2}}{n_{2}}}}}},$$df={\frac {\left({\frac {s_{1}^{2}}{n_{1}}}+{\frac {s_{2}^{2}}{n_{2}}}\right)^{2}}{{\frac {\left({\frac {s_{1}^{2}}{n_{1}}}\right)^{2}}{n_{1}-1}}+{\frac {\left({\frac {s_{2}^{2}}{n_{2}}}\right)^{2}}{n_{2}-1}}}}$	População normal ou $n_{1}+n_{2}>40$ e observações independentes e $\sigma _{1}\neq \sigma _{2}$ desconhecidos.
Teste Z de uma proporção	$z={\frac {{\hat {p}}-p_{0}}{\sqrt {p_{0}(1-p_{0})}}}{\sqrt {n}}$	$n\times p_{0}>10$ e $n(1-p_{0})>10$ e é uma amostragem aleatória simples.
Teste Z de duas proporções combinado para $H_{0}\colon p_{1}=p_{2}$	$z={\frac {({\hat {p}}_{1}-{\hat {p}}_{2})}{\sqrt {{\hat {p}}(1-{\hat {p}})({\frac {1}{n_{1}}}+{\frac {1}{n_{2}}})}}}$${\hat {p}}={\frac {x_{1}+x_{2}}{n_{1}+n_{2}}}$	$n_{1}\times p_{1}>5$ e $n_{1}(1-p_{1})>5$ e $n_{2}\times p_{2}>5$ e $n_{2}(1-p_{2})>5$ e observações independentes.
Teste Z de duas proporções não combinado para $|d_{0}|>0$	$z={\frac {({\hat {p}}_{1}-{\hat {p}}_{2})-d_{0}}{\sqrt {{\frac {{\hat {p}}_{1}(1-{\hat {p}}_{1})}{n_{1}}}+{\frac {{\hat {p}}_{2}(1-{\hat {p}}_{2})}{n_{2}}}}}}$	$n_{1}\times p_{1}>5$ e $n_{1}(1-p_{1})>5$ e $n_{2}\times p_{2}>5$ e $n_{2}(1-p_{2})>5$ e observações independentes.
Teste qui quadrado para variância	$\chi ^{2}=(n-1){\frac {s^{2}}{\sigma _{0}^{2}}}$	População normal.
Teste qui quadrado de bondade de ajuste	$\chi ^{2}=\sum ^{k}{\frac {({\text{observado}}-{\text{esperado}})^{2}}{\text{esperado}}}$	$df=k-1-{\text{número de parâmetros estimados}}$, e um deles deve ser mantido. Todas as contagens esperadas são pelo menos 5. Todas as contagens são mais que 1 e não mais que 20% das contagens esperadas são menores que 5.
Teste F para duas amostras para igualdade de variâncias	$F={\frac {s_{1}^{2}}{s_{2}^{2}}}$	População normal. Determina–se $s_{1}^{2}\geq s_{2}^{2}$ e rejeita–se $H_{0}$ para $F>F({\frac {\alpha }{2}},n_{1}-1,n_{2}-1)$.
Test t de regressão para $H_{0}\colon R^{2}=0$	$t={\sqrt {\frac {R^{2}(n-k-1^{*})}{1-R^{2}}}}$	Rejeita–se $H_{0}$ para $t>t({\frac {\alpha }{2}},n-k-1)$. Subtrai–se 1 para interceptar. $k$ termos contem variáveis independentes.
Em geral, o subscrito 0 indica um valor extraído da hipótese nula ($H_{0}$), que deveria ser usado o máximo possível na construção do seu teste estatístico. Definição de outros símbolos: $\alpha$ = probabilidade do erro de tipo I (rejeitando a hipótese nula $H_{0}$ quando ela é verdadeira) $n$ = tamanho da amostra $n_{1}$ = tamanho da amostra 1 $n_{2}$ = tamanho da amostra 2 ${\overline {x}}$ = média da amostra $\mu _{0}$ = média populacional hipotética $\mu _{1}$ = média da população 1 $\mu _{2}$ = média da população 2 $\sigma$ = desvio padrão populacional $\sigma ^{2}$ = variância populacional $s$ = desvio padrão amostral $\sum ^{k}$ = soma ($k$ números) $s^{2}$ = variância amostral $s_{1}$ = desvio padrão da amostra 1 $s_{2}$ = desvio padrão da amostra 2 $t$ = estatística t $df$ = graus de liberdade ${\overline {d}}$ = média amostral das diferenças $d_{0}$ = diferença da média populacional hipotética $s_{d}$ = desvio padrão das diferenças $\chi ^{2}$ = estatística qui quadrado ${\hat {p}}$ = ${\frac {x}{n}}$ = proporção amostral, a menos que especificado de outra forma $p_{0}$ = proporção da população hipotética $p_{1}$ = proporção 1 $p_{2}$ = proporção 2 $d_{p}$ = diferença hipotética na proporção $\min\{n_{1},n_{2}\}$ = mínimo de $n_{1}$ e $n_{2}$ $x_{1}=n_{1}p_{1}$ $x_{2}=n_{2}p_{2}$ $F$ = estatística F

Testes para a média

Legenda.

O teste de hipóteses consiste em verificar por meio de uma amostra se a média da população atende a um certo nível de significância.

Inicialmente deve–se calcular

$Z_{calc}={\frac {{\overline {x}}-\mu }{\frac {s}{\sqrt {n}}}}$,

em que ${\overline {x}}$ é a média da amostra, $\mu$ é a média esperada da população, $s$ é o desvio padrão da amostra e $n$ é o tamanho da amostra.

Em seguida, consulta–se na tabela da curva normal o Z correspondente a cada caso. Finalmente, verifica–se se $Z_{calc}$ encontra–se na área de rejeição do teste de hipótese.

Exemplos de erro do tipo I e erro de tipo II para diferentes médias.

Unilateral (unicaudal à esquerda)

$H_{0}:\mu =\mu _{0}$

$H_{1}:\mu <\mu _{0}$

Rejeita–se $Z_{calc}<-Z_{\alpha }$.

Unilateral (unicaudal à direita)

$H_{0}:\mu =\mu _{0}$

$H_{1}:\mu >\mu _{0}$

Rejeita–se $Z_{calc}>Z_{\alpha }$.

Bilateral

$H_{0}:\mu =\mu _{0}$

$H_{1}:\mu \neq \mu _{0}$

Rejeita–se $Z_{calc}<-Z_{\frac {\alpha }{2}}$ ou se $Z_{calc}>Z_{\frac {\alpha }{2}}$.

Terminologia

Seguem algumas definições baseadas no livro Testing Statistical Hypotheses, de E. L. Lehmann e Joseph P. Romano.

Hipótese estatística – Afirmação sobre os parâmetros que descreve a população (não é a mesma coisa que amostra).

Estatística – Valor calculado a partir de uma amostra geralmente para resumir a amostra para propósito de comparação.

Hipótese simples – Qualquer hipótese que especifique completamente a distribuição da população.

Hipótese composta – Qualquer hipótese que não especifique completamente a distribuição da população.

Hipótese nula ($H_{0}$) – Hipótese simples associada a uma contradição de uma teoria que se gostaria de provar.

Hipótese alternativa ($H_{1}$) – Hipótese geralmente composta associada a uma contradição de uma teoria que se gostaria de provar.

Teste estatístico – Procedimento cujos inputs são as amostras e o resultado é a hipótese.

Região de aceitação – Conjunto de valores do teste estatístico para o qual a hipótese nula não é rejeitada.

Região de rejeição (região crítica) – Conjunto de valores do teste estatístico para o qual a hipótese nula é rejeitada.

Valor crítico – Valor limite que delimita as regiões de aceitação e de rejeição para o teste estatístico.

Poder de um teste ($1-\beta$) – Probabilidade do teste de se rejeitar corretamente a hipótese nula. β é o complemento da taxa de falsos negativos. O poder é denominado sensibilidade em bioestatística ("Este é um teste sensível. Porque o resultado é negativo, podemos afirmar com confiança que o paciente não tem a condição").

Tamanho – Para hipóteses simples, é a probabilidade do teste de se rejeitar incorretamente a hipótese nula. É a taxa de falsos positivos. Para hipóteses compostas, é o supremo da probabilidade do teste de se rejeitar a hipótese sobre todos os casos cobertos pela hipótese nula. O componente da taxa de falsos positivos é denominado especificidade em bioestatística ("Este é um teste específico. Porque o resultado é positivo, podemos afirmar com confiança que o paciente tem a condição").

Nível de significância de um teste ($\alpha$) – O limite superior imposto sobre o tamanho de um teste. O seu valor é escolhido pelo estatístico antes de verificar os dados ou de escolher qualquer teste particular para ser utilizado. É a exposição máxima para se rejeitar erroneamente a hipótese nula.Testar a hipótese nula a um nível de significância α significa testar a hipótese nula por meio de um teste, cujo tamanho não excede α. Na maioria dos casos, usa–se testes cujos tamanhos são iguais aos níveis de significância.

p–valor – Probabilidade do resultado ser pelo menos tão extremo quanto teste estatístico, assumindo que a hipótese nula é verdadeira.

Teste de significância estatística – Predecessor ao teste de hipótese. Um resultado experimental é considerado estatisticamente significante se a amostra é suficientemente inconsistente com a hipótese nula. Isto foi considerado senso comum, uma heurística pragmática para identificar resultados experimentais significativos, uma convenção que estabelece um limite para a evidência estatística ou um método para tirar conclusões a partir dos dados. O teste de hipóteses adicionou rigor matemático e consistência filosófica ao conceito, tornando a hipótese alternativa explícita. O termo é pouco usado para descrever a versão moderna que agora é parte do teste de hipóteses.

Teste conservador – Um teste é conservador se, quando construído para um dado nível de significância nominal, a probabilidade verdadeira de se rejeitar incorretamente a hipótese nula nunca é maior que o nível nominal.

Teste exato – Um teste no qual o nível de significância ou o valor crítico podem ser calculados exatamente. isto é, sem qualquer aproximação. Em alguns contextos, o termo é restrito aos testes aplicados a dados categóricos e a testes de permutação nos quais os cálculos são realizados pela completa enumeração de todos os resultados possíveis e suas probabilidades. Um teste de hipóteses compara um teste estatístico (Z ou t, por exemplo) e um limite. O teste estatístico (fórmula encontrada na tabela abaixo) é baseada na otimalidade. os seguintes termos descrevem testes em termos desta otimalidade.

Teste mais poderoso – Para um dado tamanho ou nível de significância, o teste com o maior poder (probabilidade de rejeição) para um dado valor de parâmetro(s) sendo testado contido na hipótese alternativa.

Teste uniformemente mais poderoso – Um teste com o maior poder para todos os valores de parâmetro(s) testado contido na hipótese alternativa.

Os métodos de Fisher, Neyman–Pearson e Bayes

O exemplo da mala radioativa. Se a mala realmente é blindada para o transporte de material radioativo, então um teste pode ser realizado para selecionar uma entre três hipóteses: nenhuma presença de material radioativo, presença de um material radioativo, presença de dois materiais radioativos. O lema do teste de hipóteses de Neyman–Pearson afirma que um bom critério para a seleção de hipóteses é a razão das suas probabilidades (uma razão de verossimilhança). Um método simples de solução é selecionar a hipótese com a maior probabilidade para as contagens de Geiger observadas. O resultado coincide com a intuição: uma pequena contagem implica nenhum material radioativo, enquanto que uma contagem intermediária implica um material radioativo e muitas contagens implicam dois materiais radioativos. O método Baseyano mantém os argumentos sobre a priori a qual é mais usada em conjunto com as priori conjugadas.

A teoria de Neyman–Pearson pode acomodar as probabilidades prévias e os custos das ações resultantes das decisões. O primeiro permite que cada teste considere os resultados dos testes anteriories, diferentemete dos testes de significância de Fisher. O último permite a consideração de questões econômicas, assim como de probabilidades. Bayes irá argumentar que é necessário uma priori, ou seja, a partir de um conhecimento prévio sobre o assunto e então é definido uma família paramétrica de densidade para os casos em que é preferível trabalhar com priori conjugadas. Uma razão de verossimilhança continua a ser um bom critério de seleção entre as hipóteses.

Sobre Fisher e Neyman-Pearson, as duas formas de testes de hipóteses são baseadas em diferentes formulações de problemas. O teste original é análogo à questão de falso ou verdadeiro. O teste de Neyman–Pearson é mais parecido com a questão de múltipla escolha. Na visão de John Turkey, a primeira leva a conclusões com base apenas em evidências fortes, enquanto a última leva a decisões com base em evidências disponíveis. Sobre Bayes, o argumento é sobre o que se conhece das malas radioativas. Por exemplo, se uma mala foi usada anterioremente para transportar uma material radioativo, então ela terá chances maiores de conter radioatividade.

Fisher e Neyman-Pearson fazem testes os quais parecem ser muito diferentes tanto matematicamente quanto filosoficamente, desenvolvimentos posteriores levam a afirmações contrárias. Sejam várias fontes radiativas minúsculas. As hipóteses se tornam 0, 1, 2, 3, ... grãos de areia radioativa. Há pouca distinção entre nenhuma e alguma radiação (Fisher), 0 grãos de areia radioativa contra todas as alternativas (Neyman–Pearson) e, se a mala tem chance de conter radioatividade depois de ter sido ou não ter sido usada anteriormente (Bayes). On the Problem of the Most Efficient Tests of Statistical Hypotheses também considerou hipóteses compostas (aquelas cuja distribuição inclui um parâmetro desconhecido). Um exemplo mostrou a otimalidade do test t de Student. Segundo o trabalho de Neyman–Pearson publicado em 1933, não pode haver melhor teste para a hipótese em consideração. A teoria de Neyman–Pearson mostrava a otimalidade dos métodos fisherianos desde seu início.

O teste de significância de Fisher provou–se uma ferramenta estatística popular flexível em aplicações com pouco potencial de crescimento matemático. O teste de hipóteses de Neyman–Pearson é reivindicado como um pilar da matemática estatística, com a criação de um novo paradigma para a área. Isto também estimulou novas aplicações em controle estatístico do procedimento, teoria da detecção, teoria da decisão e teoria dos jogos. Ambas as formulações têm sido bem sucedidas, mas os sucessos têm tido caráteres diferentes. O método de Bayes tem boas aplicações sobre as condições vividas ou conhecimento adquirido por experiência como na medicina, em que um médico pode constatar que uma dor no pescoço pode levar a doença meningite. Enquanto o método de Bayes mostra que 1 a cada 5000 pessoas pode ter meningite com a evidência dor no pescoço.

A disputa sobre as formulações não está resolvida. A ciência usa primeiramente a formulação de Fisher ligeiramente modificada, como ensinado pela estatística introdutória. Estatísticos estudam a teoria de Neyman–Pearson na pós–graduação. Os matemáticos consideram a união de ambas as formulações. Os filósofos consideram–nas separadamente. As diferentes opiniões consideram as formulações competitivas (Fisher contra Neyman), incompatíveis ou complementares. A terminologia é inconsistente. O teste de hipóteses pode significar qualquer mistura das formulações de Fisher e Neyman–Pearson, que podem mudaram com o passar do tempo (qualquer discussão sobre teste de significância contra teste de hipóteses é vulnerável à confusão). A disputa tornou–se ainda mais complexa, uma vez que a inferência bayesiana passou a ser ainda mais respeitada.

Fisher pensou que o teste de hipóteses era uma estratégia útil para o controle de qualidade industrial, mas ele discordava veemente que o teste de hipóteses poderia ser útil para cientistas. O teste de hipóteses fornece um meio para encontrar as estatísticas de teste, usadas em um teste de significância. O conceito de poder é útil para explicar as consequências do ajuste do nível de significância e é muito usado para determinar o tamanho da amostra. Fisher e Neyman-Pearson possuem métodos os quais continuam filosoficamente distintos. Eles geralmente (mas nem sempre) levam a mesma resposta matemática. A resposta preferível depende do contexto. Enquanto a fusão das teorias de Fisher e de Neyman–Pearson tem sido pesadamente criticada, modificar a fusão para alcançar objetivos bayesianos tem sido considerado.

Teste da hipótese nula de Fisher	Teoria da decisão de Neyman e Pearson	Teoria da decisão de Bayes
1. Estabelecer uma hipótese nula estatística. O nulo não precisa ser uma hipótese nula (isto é, diferença zero).	1. Estabelecer duas hipóteses estatísticas, $H_{1}$ e $H_{2}$. Decidir sobre $\alpha$, $\beta$ e tamanho da amostra antes do experimento, com base em considerações subjetivas de custo benefício. Isto define uma região de rejeição para cada hipótese.	1. Considera-se a informação prévia sobre um evento ocorrer. Por exemplo, no lançamento de uma moeda, um observador diz que aquela moeda cai mais a face cara do que a face coroa. Então, considerar a maior probabilidade de cair cara é uma priori. Disso decorre a adequação da priori para uma distribuição de probabilidade (beta, normal, log normal, etc), sendo essa adequação a posteriori.
2. Registrar o nível de significância exato (por exemplo, $p=0,051$ ou $p=0,049$). Não usar o nível de significância convencional de 5%. Não mencionar sobre aceitar ou rejeitar hipóteses. Se o resultado não é significante, não tirar conclusões e não tomar decisões. Suspender julgamentos até que mais dados estejam disponíveis.	2. Se o dado cair na região de rejeição de $H_{1}$, aceitar $H_{2}$. Em caso contrário, aceitar $H_{1}$. Note–se que aceitar uma hipótese não significa acreditar nela. Isto significa apenas agir como se ela fosse verdadeira.	2. Realizar uma aproximação de densidade e calcula a probabilidade.
3. Usar este procedimento apenas se souber pouco sobre o problema. Somente tirar conclusões provisórias no contexto de uma tentativa para entender a situação experimental.	3. A utilidade do procedimento é limitada para situações em que tem–se uma disjunção de hipóteses (por exemplo, $\mu _{1}=8$ ou $\mu _{2}=10$ é verdadeiro) e podem–se fazer concessões significativas de custo benefício para escolher $\alpha$ e $\beta$ .	3. Utilização ampla nos setores da sociedade.

 Teste de comparação múltipla para teste de hipóteses

Para testes de hipóteses, o problema de comparações múltiplas (também conhecido como problema de testes múltiplos) resulta do aumento do erro do tipo I que ocorre quando os testes são usados repetidamente. Se $k$ comparações independentes foram realizadas, o nível de significância ${\bar {\alpha }}$ do experimento (também chamado taxa de erro da família) é dado por ${\bar {\alpha }}=1-\left(1-\alpha _{\{{\text{por comparação}}\}}\right)^{k}.$ Consequentemente, a menos que os testes sejam perfeitamente e positivamente dependentes, ${\bar {\alpha }}$ aumenta conforme o número de comparações aumenta. Se as comparações não forem independentes, também é possível afirmar que ${\bar {\alpha }}\leq k\cdot \alpha _{\{{\text{por comparação}}\}}$, seguindo a desigualdade de Boole.

Há diferentes formar de garantir que a taxa de erro da família seja ${\bar {\alpha }}$. O método mais conservador, que é livre de dependência e suposições distributivas é a correção de Bonferroni $\alpha _{\{{\text{por comparação}}\}}={\frac {\bar {\alpha }}{k}}$. Uma correção menos conservadora pode ser obtida resolvendo a equação para a taxa de erro da família de $k$ comparações independentes para $\alpha _{\{{\text{por comparação}}\}}$. Isto resulta em $\alpha _{\{{\text{por comparação}}\}}=1-{(1-{\bar {\alpha }})}^{\frac {1}{k}}$, que é conhecido como a correção de Šidák. Outro procedimento é o método de Holm–Bonferroni, que tem mais poder que a correção de Bonferroni testando apenas o menor p–valor ($i=1$) contra o critério mais rigoroso e o maior p–valor ($i>1$) contra o critério menos rigoroso $\alpha _{\{{\text{por comparação}}\}}={\frac {\bar {\alpha }}{(k-i+1)}}$.

Correção de Bonferroni

Em estatística, a correção de Bonferroni é um dos vários métodos utilizados para neutralizar o problema das comparações múltiplas. O teste de hipóteses é baseado na rejeição da hipótese nula se a probabilidade dos dados observados ficar abaixo da hipótese nula for baixa. Se as múltiplas comparações forem feitas ou se as múltiplas hipóteses forem testadas, a chance de acontecer um evento raro aumenta e, portanto, a probabilidade de rejeitar–se incorretamente a hipótese nula também aumenta. Isto é, a chance de ocorrer erro do tipo I aumenta. A correção de Bonferroni compensa este aumento por meio do teste de cada hipótese individual em um nível de significância de ${\frac {\alpha }{m}}$, em que $\alpha$ é o nível $\alpha$ total desejado e $m$ é o número de hipóteses. Por exemplo, se foram testadas $m=20{\text{ hipóteses}}$ com $\alpha =0,05$, então a correção de Bonferroni testaria cada hipótese individual com $\alpha ={\frac {0,05}{20}}=0,0025$.

Desigualdade de Bonferroni

Em teoria das probabilidades, a desigualdade de Boole afirma que para qualquer conjunto finito de eventos a probabilidade de pelo menos um dos eventos acontecer não é maior que a soma das probabilidades dos eventos individuais. A desigualdade de Boole pode ser generalizada para encontrar os limites superiores e inferiores da probabilidade de um conjunto finito de eventos. Estes limites são conhecidos como desigualdades de Bonferroni.

Sejam

$S_{1}:=\sum _{i=1}^{n}{\mathbb {P} }(A_{i})$ e $S_{2}:=\sum _{1\leq i<j\leq n}{\mathbb {P} }(A_{i}\cap A_{j})$

$S_{k}:=\sum _{1\leq i_{1}<\cdots <i_{k}\leq n}{\mathbb {P} }(A_{i_{1}}\cap \cdots \cap A_{i_{k}})$,

para todos os inteiros $k$ em $\{3,...,n\}$.

Para $k$ ímpares em $\{1,...,n\}$,

${\mathbb {P} }{\biggl (}\bigcup _{i=1}^{n}A_{i}{\biggr )}\leq \sum _{j=1}^{k}(-1)^{j-1}S_{j}$.

Para $k$ pares em $\{2,...,n\}$,

${\mathbb {P} }{\biggl (}\bigcup _{i=1}^{n}A_{i}{\biggr )}\geq \sum _{j=1}^{k}(-1)^{j-1}S_{j}$.

A desigualdade de Boole é recuperada estabelecendo–se $k=1$. Quando $k=n$, a igualdade se mantém e a identidade resultante é o princípio da inclusão–exclusão.

Método de Holm–Bonferroni

Em estatística, o método de Holm–Bonferroni (também chamado método de Holm ou método de Bonferroni–Holm) é usado para neutralizar o problema das comparações múltiplas. Pretende–se controlar a taxa de erro da família e oferece–se um teste simples uniformemente mais poderoso que a correção de Bonferroni. É um dos primeiros usos de stepwise algorithms em inferência simultânea.

O método de Holm–Bonferroni segue os seguintes passos:

• Seja $H_{1},...,H_{m}$ a família de hipóteses e $P_{1},...,P_{m}$ os p–valores correspondentes;
• Os p–valores são ordenados em ordem crescente $P_{(1)}\ldots P_{(m)}$, sendo $H_{(1)}\ldots H_{(m)}$ as hipóteses associadas;
• Para um dado nível de significância $\alpha$, seja $k$ o índice mínimo para o qual $P_{(k)}>{\frac {\alpha }{m+1-k}}$;
• As hipóteses nulas $H_{(1)}\ldots H_{(k-1)}$ são rejeitadas e as hipóteses $H_{(k)}\ldots H_{(m)}$ não são rejeitadas;
• Se $k=1$, então nenhuma hipótese nula é rejeitadas. Se não existir nenhum $k$, então todas as hipóteses nulas são rejeitadas.

Correção de Šidák

Em estatística, a correção de Šidák ou correção de Dunn–Šidák é um método utilizado para neutralizar o problema das comparações múltiplas. É um método simples de controlar a taxa de erro da família. Quando todas as hipóteses nulas são verdadeiras, o método fornece o controle do erro da família exato para testes que são estocasticamente independentes. É conservador para testes que são positivamente dependentes e é liberal para testes que são negativamente dependentes.

Críticas

Muitas das críticas sobre o teste de hipóteses estatístico podem ser resumidas da seguinte maneira:

• A interpretação do p–valor depende da regra da parada (stopping rule) e da definição de comparação múltipla. A primeira muda no curso de um estudo. A segunda é inevitavelmente ambígua. Isto é, o p–valor depende tanto do [dado] observado quanto dos outros possíveis [dados] que podem ter sido observados, mas não foram.
• A confusão parcialmente resultante da combinação dos métodos de Fisher e de Neyman–Pearson, que são conceitualmente diferentes.
• Ênfase na significância estatística para exclusão da estimação e confirmação por experiências repetidas.
• Exigência rígida da significância estatística como um critério para publicação, resultando no viés da publicação. A maioria das críticas é indireta. Em vez de errados, os testes de hipóteses estatísticos são mal interpretados, excessivamente utilizados ou mal utilizados.
• Quando usados para detectar se existe diferença entre dois grupos, surge um paradoxo. Quanto mais melhorias no projeto experimental (por exemplo, maior precisão de medidas e tamanho de amostra), mais lenientes tornam–se os testes de hipótese. A menos que aceite–se a declaração absurda que todas as fontes de ruídos nos dados sejam completamente anuladas, a chance de encontrar significância estatística em qualquer direção aproxima–se de 100%.
• Há várias preocupações filosóficas. A probabilidade de significância estatística é uma função de decisões feitas por analistas e pesquisadores. Se as decisões forem baseadas em uma convenção, elas são chamadas de arbitrárias. Em caso contrário, elas podem ser denominadas subjetivas. Para minimizar os erros do tipo II, grandes amostras são recomendadas. Na psicologia, praticamente todas as hipóteses nulas são afirmadas como sendo falsas para amostras suficientemente grandes. Então, geralmente é sem sentido realizar um experimento com o único objetivo de rejeitar a hipótese nula. Na psicologia, descobertas estatisticamente significantes são muitas vezes mal interpretadas. Como a significância estatística não implica significância prática e a correlação não implica causalidade, a dúvida sobre a hipótese nula está longe de apoiar diretamente a hipótese de pesquisa.
• O teste de hipóteses não nos diz o que queremos saber. Há várias reclamações deste tipo entre pesquisadores.

Os críticos e os apoiadores estão em grande parte de acordo com as características do teste de significância de hipótese nula. Embora forneça informação crítica, é inadequado como a única ferramenta para análise estatística. Rejeitar com êxito a hipótese nula pode não oferecer suporte para a hipótese de pesquisa. A controvérsia contínua trata da seleção da melhor prática estatística para o futuro de curto prazo, dadas as práticas existentes (muitas vezes pobres). Os críticos prefeririam banir completamente o teste de significância de hipótese nula. Os apoiadores sugeririam uma mudança menos radical.

As controvérsias em torno do teste de significância e os seus efeitos sobre o viés em publicações particularmente têm produzido vários resultados. Nos Estados Unidos, a American Psychological Association fortaleceu suas exigências para relatórios estatísticos depois de revisão, editoras de publicações médicas reconheceram a obrigação da publicação de alguns resultados que não são estatisticamente significantes para combater o viés em publicações e o Journal of Articles in Support of the Null Hypothesis foi criado para publicar estes resultados exclusivamente. Os textos adicionaram algumas preocupações e aumentaram a cobertura para ferramentas necessárias para estimar o tamanho da amostra exigido para produzir resultados significativos. As principais organizações não abandonaram o uso de testes de significância, embora algumas tenham discutido o assunto.

Alternativas

As numerosas críticas ao teste de significância não levam a uma única alternativa. Uma posição unificadora dos críticos é que as estatísticas não deveriam levar a uma conclusão ou a uma decisão, mas a uma probabilidade ou a um valor estimado com um intervalo de confiança em vez de uma decisão aceitação–rejeição em relação a uma hipótese em particular. É improvável que a controvérsia em torno do teste de significância seja resolvida no futuro próximo. As suas supostas falhas e impopularidade não eliminam a necessidade de um meio objetivo e transparente para chegar a conclusões sobre os estudos que produzem resultados estatísticos. Os críticos não se unificaram em torno de uma alternativa. Outras formas de reportar a confiança ou a incerteza poderiam provavelmente aumentar em popularidade. Uma forte crítica ao teste de significância sugere uma lista de alternativas, envolvendo tamanhos de efeito para importância, intervalos de previsão para confiança, repetições e extensões para replicação, meta–análises para generalidade. Nenhuma destas alternativas sugeridas produz uma conclusão ou uma decisão. E. L. Lehmann afirma que a teoria do teste de hipóteses pode ser apresentada em termos de conclusão ou de decisão, probabilidade ou intervalos de confiança (a distinção entre as abordagens é em grande parte relato e interpretação).

Em uma alternativa, não há discordância. De acordo com Fisher, em relação ao teste de significância, podemos afirmar que um fenômeno é experimentalmente demonstrável quando sabemos como conduzir um experimento que raramente falhará em nos fornecer um resultado estatisticamente significante. Segundo Jacob Cohen, não há necessidade de procurar por uma alternativa mágica ao teste de significância de hipótese nula porque ela não existe. Para o influente crítico do teste de significância, dados os problemas da indução estatística, devemos finalmente confiar como as antigas ciências na replicação. A alternativa ao teste de significância é um teste repetido. A forma mais fácil de diminuir a incerteza estatística é por meio da obtenção de mais dados, pelo aumento do tamanho da amostra ou por testes repetidos. Raymond Nickerson afirmou nunca ter visto a publicação de uma experiência literalmente replicada em psicologia. Uma abordagem indireta para a replicação é a meta–análise.

A inferência bayeseana é uma alternativa proposta ao teste de significância. Nickerson citou dez fontes com esta sugestão, incluindo Rozeboom (1960). Por exemplo, a estimação de parâmetros bayeseanos pode fornecer informações importantes sobre os dados, a partir dos quais os pesquisadores podem desenhar inferências ao mesmo tempo em que utilizam dados incertos que exercem apenas influência mínima sobre os resultados quando dados suficientes estão disponíveis. O psicólogo John K. Kruschke sugeriu a estimação bayeseana como uma alternativa para o teste t. De outra maneira, dois modelos modelos ou hipóteses concorrentes podem ser comparados usando fatores bayeseanos. Os métodos bayeseanos podem ser criticados por requerer informações raramente disponíveis nos casos em que os testes de significância são mais utilizados. Nem as probabilidades anteriores nem a distribuição de probabilidade da estatística de teste sob a hipótese alternativa muitas vezes estão disponíveis nas ciências sociais.

Defensores da abordagem bayeseana às vezes afirmam que o objetivo de um pesquisador é na maioria das vezes avaliar objetivamente a probabilidade de uma hipótese ser verdadeira com base nos dados coletados. Nem o teste de significância de Fisher nem o teste de hipóteses de Neyman–Pearson podem fornecer esta informação. A probabilidade de uma hipótese ser verdadeira apenas pode ser derivada a partir do uso do teorema de Bayes, que foi insatisfatória tanto para a área de Fisher quanto para o campo de Neyman–Pearson devido ao uso explícito da subjetividade na forma de probabilidade prévia. A estratégia de Fisher é evitar isto com o p–valor (um índice objetivo baseado nos dados sozinhos) seguida por inferência indutiva, enquanto Neyman–Pearson inventou sua abordagem de comportamento indutivo.

Filosofia

O teste de hipóteses e a filosofia se cruzam. A estatística inferencial, que inclui o teste de hipóteses, é a probabilidade aplicada. A probabilidade e sua aplicação estão entrelaçadas com a filosofia. O filósofo David Hume escreveu que "todo conhecimento degenera em probabilidade". Definições práticas concorrentes de probabilidade refletem diferenças filosóficas. A aplicação mais comum do teste de hipóteses é na interpretação científica de dados experimentais, os quais são naturalmente estudados pela filosofia da ciência. Fisher e Neyman opunham–se à subjetividade da probabilidade. As suas visões contribuíram para as definições objetivas. O núcleo da discordância histórica deles era filosófico. Muitas das críticas filosóficas aos testes de hipóteses são discutidas por estatísticos em outros contextos, particularmente correlação não implica causação e desenho dos experimentos. Os testes de hipóteses estão sob contínuo interesse dos filósofos.

Educação

Estatística é cada vez mais ensinada nas escolas, com o teste de hipóteses sendo um dos elementos ensinados. Muitas conclusões reportadas na imprensa (desde pesquisas de opinião políticas a estudos médicos) são baseados em estatística. Um público informado deveria entender as limitações das conclusões estatísticas e muitas áreas de estudos na graduação requerem um curso de estatística pelo mesmo motivo. Na graduação, a estatística introdutória dá muita ênfase ao teste de hipóteses (talvez metade de um curso típico). Áreas de estudo como literatura e religião agora incluem descobertas baseadas em análises estatísticas. As aulas de estatística introdutória ensinam o teste de hipóteses como um procedimento de um livro de receita. O teste de hipóteses também é ensinado na pós–graduação. Estatísticos aprendem como criar bons precedimentos de testes estatísticos (Z, t de Student, F e qui–quadrado). O teste de hipóteses estatístico é considerado uma área madura dentro da estatística, mas uma quantidade limitada de desenvolvimento continua.

O método de livro de receita para ensinar estatística introdutória não deixa tempo para história, filosofia ou controvérsia. O teste de hipóteses tem sido ensinado como um método unificado. Pesquisas mostraram que graduandos foram enchidos com mal entendidos filosóficos em todos os aspectos da inferência estatística, que persistiram entre instrutores. Embora o problema tenha sido resolvido há mais de uma década e reivindicações para reformas educaionais continuem, estudantes ainda se formam em estatística mantendo conceitos errôneos sobre os testes de hipóteses. Ideias para melhorar o ensino do teste de hipóteses incluem encorajar os estudantes a pesquisarem erros estatísticos em trabalhos publicados, ensinar a história da estatística e enfatizar a controvérsia em uma disciplina geralmente dura.

Ver também

• Estatística
• Reamostragem
• Cara ou coroa
• Falseabilidade
• Causalidade de Granger

Referências

Ligações externas

• Verification of statistical hypotheses. M.S. Nikulin (originator), Encyclopedia of Mathematics. 
• MATTHEWS, Robert. Bayesian critique of statistics in health: The great health hoax, 1998.
• DALLAL, Gerard V. et al. The little handbook of statistical practice. Gerard V. Dallal, 1999.
• COHEN, Jacob. The earth is round (p<. 05): Rejoinder. 1995.
• MBAStats.net