O acaso - o valor P e a significância clinica x a estatística

O grande objetivo da ciência é identificar fenômenos causais e entender como eles ocorrem.

Durante esse processo, os resultados podem ser influenciados por dois fenômenos. Viés e acaso.

Os viéses também chamados de erros sistemáticos nada mais são do que falhas sistemáticas na metodologia da pesquisa que fazem com que os resultados de um estudo sejam diferentes dos valores verdadeiros. 

Erros sistemáticos podem ser evitados através de uma boa metodologia de pesquisa - escolhendo o delineamento  mais adequado para aquilo que pretende-se observar, ou controlando fatores, como por exemplo, de confusão e seleção por intermédio do uso de análises multivariadas.

 Passado o desafio de controlá-los existe um fenômeno onipresente - o acaso - que pode ser minimizado , mas não evitado, porque este evento pode exercer sua influência tanto do lado verdadeiro como do outro.

Dentro do método estatístico, existem basicamente duas formas de se avaliar a influência do acaso em uma observação. Uma abordagem estimativa ( mais modernamente utilizada) e a abordagem mais tradicional que é realizada através do teste de hipóteses.

O que é o teste de hipóteses ?

No desafio de determinar a causalidade de uma associação, o pesquisador lança mão de ferramentas estatísticas que tentem "descartar" o acaso como responsável possível pelos resultados daquela observação.

O teste de hipótese levanta a questão de que uma diferença entre os grupos pode ou não estar presente, partido-se sempre da premissa de que um fenômeno é inexistente até que prove-se o contrário, o que chamamos de hipótese nula.

De forma análoga, poderíamos sintetizar a definição da hipótese nula, na máxima de que todos são inocentes até que seja provado o oposto. O pesquisador faz o papel de "promotor", com intuito de rejeitar a hipótese de não associação entre as variáveis.

Quando determinados através desse mesmo teste que uma diferença (efeito) entre os grupos existe, ficamos com a hipótese alternativa.

Para avaliar este fato os testes estatísticos utilizam o valor P.

A maioria das estatísticas encontradas na literatura médica, dizem respeito ao valor P , muitas vezes interpretado de forma errônea.

Portanto, o valor P refere-se a medida quantitativa da probabilidade de que as diferenças de efeito evidenciada no tratamento de uma determinada doença  em algum trabalho científico poderiam ter apenas decorrido em função do acaso, presumindo inicialmente que de fato não existem diferenças entre os grupos.

Uma outra forma interessante de estabelecer o que seria o valor P, seria o seguinte questionamento:

Presumindo que não houvesse diferença de efeito no tratamento observado entre os grupos, e o estudo fosse repetido muitas vezes, quantos estudos concluíriam que a diferença entre os grupos foi tão grande quanto a encontrada no estudo?

Na literatura frequentista o valor P é chamado de P(alfa) e isto é utilizado para diferenciá-lo das estimativas de outro erro - o erro do tipo II , chamado de P(beta).

Além disso, o ponto de corte adotado geralmente para estabelecer uma significância ao valor P, seria o valor P < 0,05. Quando o valor P alcança um valor inferior a este ponto diz-se que houve uma associação estatisticamente significativa.

Alguns críticos dizem que é arbitrário oferecer um valor fixo ao  P, argumentando que os valores podem ser mais baixos ou mais altos, dependendo das consequências em uma observação falso-positiva. 

Tomamos como exemplo, um estudo que tem como objetivo avaliar  o efeito de uma intervenção em uma doença muito grave - devido a gravidade da própria doença acho que seria razoável em estabelecer um ponto de corte maior para o valor P, levando-se em consideração também, a existência ou não de um tratamento efetivo e a segurança deste novo tratamento.

Em contrapartida, um autor poderia ter uma menor tolerância com um falso-positivo na avaliação de uma doença que já tem um tratamento efetivo e o novo tratamento pudesse não ser tão seguro.

Contemplando este argumento sobre a  influência do acaso, autores poderiam pré-definir um valor P menor que 0,03, 0,05, 0,011 - entretanto, geralmente o valor inferior a 5% é observado.

Quanto menor o valor P, menor a probabilidade de o resultado de uma  análise ter sido influenciado pelo acaso, logo quando um estudo apresenta uma associação estatística com um valor P = 0,03, considerando um valor P menor que 0,05 , quer dizer que existe apenas uma probabilidade de 3 % daquela diferença ter sido observada em decorrência do acaso, sob a óptica da hipótese nula, contudo o valor P isoladamente é insuficiente para estabelecer precisão e significância clínica.

Significância estatística x significância clínica.

É um equívoco achar que um valor P muito pequeno é sinônimo de significância clínica, pesquisadores muitas vezes ficam tão atentos ao valor P no intuito de demonstrarem um estudo positivo, ou mesmo indivíduos na análise de um artigo científico,  que esquecem de mensurar a relevância do tamanho do efeito. O efeito da intervenção pode ser medido através de variáveis dicotômicas e  a melhor maneira de medi-lo é através da diferença em relação ao tamanho do efeito observado entre os grupos.

Vamos fazer a suposição bem simplista de que quero testar o efeito de uma droga ( um anti-inflamatório) na redução da sensação dolorosa em pacientes portadores de artrose de joelhos. O desfecho diminuição da dor foi aferido através de uma escala numérica pontuada de 0 a 10, em que zero significaria ausência de dor e 10 a dor mais insuportável que se poderia ter. 

Alocando os paciente de maneira aleatória entre indivíduos que receberam a droga e indivíduos que receberam placebo, ao final do estudo observou-se uma significância estatística entre os grupos com um valor de P = 0,02, contudo o grupo que recebeu a medicação teve a dor reduzida em 4 pontos e o grupo placebo apenas em 1 ponto. Conclui-se então que embora refutada a hipótese nula, a melhor estimativa é que houve uma redução de 3 pontos na presença de dor. 

Cabe ao autor e ao crítico decidir se isso é uma diferença clinicamente relevante que possa ser útil no contexto da prática clínica.

Um exemplo interessante a citar para a prática é que o uso de  Diacereína tem um efeito nulo ou pouco significante ( em termos de magnitude) na redução da dor proveniente da osteoartrose, como atesta este estudo realizado pela Cochrane. A medicação é frequentemente utilizada, porque médicos muitas vezes não utilizam o princípio da hipótese nula e ficam "ansiosos" em realizar "alguma coisa" - a mentalidade do médico ativo -  ou consideram que para um desfecho subjetivo como a dor , essa pequena magnitude pode ser relevante para alguns indivíduos.

Outro ponto a considerar nesta mesma análise é que pequenas diferenças, muitas vezes suficientes para demonstrar relevância clínica de tratamentos fortes, podem não ocorrer devido ao tamanho amostral da pesquisa.

E as interpretações de valores P limítrofes ?

Na busca exagerada por significância estatística, autores tendem a interpretar valores limítrofes do  P como uma tendência a significância. Muitas vezes usam e abusam de malabarismos estatísticos durante a análise de dados da pesquisa para alcançar um resultado positivo, o que chamamos em estatística de "P hacking". O fato é que o uso dessa expressão é errôneo, se um estudo detectou valor para P = 0,056 ou a 0,06 , assumindo um nível de significância menor que 5%, significa que  a probabilidade de se obter um resultado decorrente do acaso é de 6%, assumindo que o mesmo tratamento não tenha efeito real, nesse caso a hipótese nula não pode ser refutada.

Um exemplo interessante, seria citar o estudo WOSCOPS que não demonstrou redução de mortalidade por todas as causas com uso de pravastatina para prevenção primária , com um valor P = 0,051.

Recentemente a conceituada revista americana de medicina ( JAMA), publicou um artigo científico a respeito do valor P e o teste de hipóteses e como eles devem ser interpretados.

Segue um anexo abaixo, sobre os principais equívocos a respeito da interpretação destes conceitos e que resume basicamente tudo que foi abordado nesse post.

O uso de estatinas na ICC é imprescindível?

Desde o primeiro estudo clínico 4S, publicado em 1994, demonstrando benefício do uso de sinvastatina  na redução de morbimortalidade em uma população de indivíduos com doença arterial coronariana, surgiram outros trabalhados demonstrando benefício dessa classe medicamentosa.

Observou-se também um crescimento no interesse por estudar o benefício dessas medicações em determinados subgrupos, como idosos e pacientes com Insuficiência Cardíaca.

Classicamente, os pacientes com ICC sempre foram excluídos ou pouco representados no estudos de desfechos e contraditoriamente estudos observacionais e pequenos estudos experimentais demonstraram benefício do uso dessas medicações, contudo baseado no baixo nível de evidência dessas pesquisas , sujeitas a viéses de confusão e erros aleatórios o uso de estatinas nessa população continuava bastante contraditório.

Ao tentarmos provar o benefício de uma medicação em um estudo experimental, necessitamos de ter algum mecanismo biológico que possa implicar num teste de hipótese, lembrando sempre da máxima de que "Plausibilidade biológica não garante benefício clínico". 

A razão pela qual as estatinas poderiam ser benéficas nesse tipo de paciente está associada ao fato de que a etiologia isquêmica  possui associação causal com uma boa quantidade de casos de ICC, pacientes portadores de doença aterosclerótica são naturalmente mais "inflamados" com maior produção de citocinas inflamatórias - fisiopatologicamente as estatinas atuariam como mediadores inflamatórios, ademais a própria ICC é responsável por ativação adrenérgica , diminuição da atividade do sistema parassimpático  e disfunção autonômica. Modelos experimentais demonstram que as estatinas têm potencial de reduzir essas alterações.

Aquém da controvérsia do estudos, modelos experimentais demonstraram também motivos para que essas medicações pudessem ser deletérias. Existem evidências de que pacientes gravemente enfermos - como pacientes sépticos, grandes queimados, se beneficiariam de níveis mais elevados de colesterol.

Além disso, a inibição da coenzina Q10 - como mecanismo implicado ao uso das estatinas, poderia ser deletéria nos pacientes com ICC que já há possuem em níveis mais reduzidos.

Para responder essa  questão foi elaborado um grande ensaio clínico com acrônimo de CORONA. 

Este estudo randomizou 5011 pacientes com idade superior a 60 anos portadores de ICC classe II, III e IV de etiologia isquêmica para o uso de atorvastatina 10 mg x placebo.

O desfecho primário proposto foi observar redução de mortalidade por causa cardiovascular associada a redução de IAM e AVC. Enquanto que o desfecho secundário foi um combinado de morte por todas causas, morte por doença coronariana , morte por doença cardiovascular e número de hospitalizações.

Durante o follow-up de cerca de 02 anos não foi observada redução no desfecho primário no grupo intervenção , a despeito da redução das taxas de LDL  e diminuição das taxas de PCR ultrassensível.

Um estudo negativo também está susceptível a erros sistemáticos e erros aleatórios. 

Quanto a existência de viéses, embora o estudo tenho sido simples cego - o uso de desfechos "hards" diminui a possibilidade de viés de aferição.

Além disso , é muito importante questionar se um estudo foi negativo devido a erro do tipo II - O erro tipo II ocorre quando você  não encontra uma associação que existe, que não foi encontrada por baixo poder estatístico, o que não aconteceu no estudo acima , pois o mesmo teve um poder de 90 %  para as diferenças que propôs detectar.

Devido a conclusão de não evidência de benefícios,  os autores propuseram que o tempo do uso da rosuvastatina não tenho sido suficiente para promover os efeitos da redução de eventos cardiovasculares nos pacientes com ICC de etiologia isquêmica. 

Outro ponto a  considerar é que o estudo foi limitado a não envolver pacientes com ICC diastólica ou de etiologia não isquêmica não sendo passível de extrapolar seus benefícios para estes subgrupos.

O estudo GISSI-HF trial realizado de forma similiar respondeu algumas das questões acima ao não encontrar benefício no uso de rosuvastatina em ICC de qualquer etiologia.

Dessa forma, não existem evidências para recomendar o uso de estatinas na maioria dos pacientes com ICC - o uso não deve ser encorajado de maneira independente dos níveis de LDL- colesterol ou doença aterosclerótica.

   

Estudo FOURIER e evolocumabe uma revolução ainda distante da prática clínica.

Já havia estudo prévio demonstrando reduções significativas nas taxas de LDL através do uso do anticorpo monoclonal evolocumabe - os resultados demonstraram uma redução significante de 60%. Restava então saber, se essa redução do desfecho substituto (LDL) seria acompanhada da redução de desfechos clínicos, evitando eventos cardiovasculares maiores.

No ano de 2017,  então,  fomos brindados com os resultados do aguardado estudo FOURIER.

O estudo em questão foi conduzido por cerca de 48 semanas e randomizou de forma  duplo-cega e controlada por placebo 27.564  indivíduos com idade entre 40 e 85 anos portadores de doença aterosclerótica com LDL maior ou igual 70 ou HDL maior ou igual a 100  para uso de evolocumabe (140 mg por 2 semanas ou 420 mg por mês ) associado ao uso de estatinas de alta intensidade ou moderada intensidade

O estudo foi desenvolvimento justamente com objetivo de testar o benefício do uso do anticorpo monoclonal associado a uso de estatinas na redução de eventos cardiovasculares.

Vamos então a análise crítica.

De maneira até bastante insistente , sempre enunciamos aqui nesse espaço que uma evidência deve ser avaliada em três etapas. Inicialmente devemos verificar se possui validade interna, ou seja, garantir que os resultados não foram decorrentes de erros aleatórios e sistemáticos. Passada esta estapa, por último, devemos analisar a relevância dos resultados e sua aplicabilidade.

Metodologicamente o estudo criticado nessa postagem foi impecável.

Randomizado ( evitando viéses de confusão), duplo-cego ( evitando viéses de mensuração do desfecho) , controlado por placebo - com desfechos duros e feito com a intenção de tratar ( evitando viéses de tratamento).

Outro dado importante é que o estudo não foi truncado. Sabe-se que o trucamento ( interrupção precoce) tende a superestimar a magnitude do benefício alcançado com a intervenção. 

Para finalizar , quando nos atentamos a significância estatística, observamos que este estudo foi positivo, com valor de P menor que 5 % para o desfecho primário em questão, afastando a possibilidade de erro do tipo I.

Concluímos então que o estudo  FOURIER, possuí baixo risco de viéses e erro aleatório.

Garantida a validade interna , vamos então a análise da relevância e aplicabilidade.  Julgo esta a parte mais interessante da análise, pois o estudo em questão foi muito divulgado e festejado pelos pesquisadores e por membros da comunidade cardiológica.

O principal desfecho englobou um combinado de morte por doença cardiovascular, iam, avc não hemorrágico, hospitalização por angina instável e revascularização miocárdica.

Há uma forte menção no estudo , embora a conclusão, tenha sido tomada com base em desfecho primário, para os desfechos secundários, no caso do estudo citado - estranhamente os desfechos secundários foram um combinado de morte cardiovascular, iam ou avc , portanto, desfechos mais "hards" que os primários , logo mais interessantes para a prática clínica. 

Definido o desfecho, passamos a análise dos resultados.

Quando presta-se atenção na redução dos níveis de LDL, observa-se claramente um redução intensa -a média de LDL no inicio do estudo era de 92. Após cerca de 2 anos o LDL médio foi de 30. Uma redução média absoluta de 56 mg/dl ou 59%.

87% dos pacientes experimentaram uma redução para 70 mg ou mais e 67 % para  40 mg ou mais. De maneira bastante interessante 42 % experimentaram reduções inferior a 25 mg ou menos.

Essa redução intensa na taxa de LDL foi acompanhada de uma redução de risco relativo de 15% para o desfecho primário, às custas basicamente na redução nas taxas de IAM, mas isoladamente sem redução da mortalidade cardiovascular ou por todas as causas.

Quando falamos sobre o desfecho secundário, verificamos uma redução de cerca de 20 % no risco relativo.

Quando avaliamos a relevância de um estudo  devemos prestar atenção no tipo de desfecho e na redução absoluta do risco com seu respectivo NNT, reduções relativas são intrínsecas ao tratamento - reduções absolutas variam conforme o risco basal do paciente, portanto, mais interessante para a prática clínica. Além disso, o NNT , dependente da RAR, tem uma importante significância clínica.

Alguns ensaios clínicos , nos obrigam a calcular o NNT, entretanto na discussão do estudo, os autores mencionaram que 74 pacientes necessitariam ser tratados em 2 anos para prevenir morte cardiovascular, avc ou iam.

Vamos a aplicabilidade...

Primeiro, devemos ter em mente que este é um estudo de prevenção secundária, portanto, esperaria um impacto maior do tratamento.
Um NNT de 74 é considerado de baixa magnitude para eventos não fatais ( levando em conta que não houve redução de mortalidade).
De maneira paradoxal, alguns estudos de prevenção primária com desfechos compostos como, por exemplo, o clássico WOSCOPS, demonstraram NNT menores, apenas com o uso de estatinas.
Talvez, o tempo de follow- up do estudo FOURIER tenha sido muito pequeno, isto deve ser observado porque o efeito mais pronunciado da redução de eventos cardiovasculares apenas com o uso de estatinas ocorre mais a longo prazo, no próprio estudo é possível verificar que o benefício aumentou com o passar do tempo.
Um estudo com follow - up maior , poderia elucidar esta questão.

Quando analisamos aplicabilidade devemos levar em conta o custo-efetividade.
Julgo que o alto NNT apresentado ao custo elevado da medicação - cerca de 1200 dólares por mês cria um problema para o uso da medicação.
Um exercício mental é extrapolar isto para a nossa realidade no SUS, onde já temos uma grande dificuldade de implementar o uso de estatinas de alta intensidade devido ao custo para alguns pacientes.

A grande novidade do estudo foi demonstrar a existência de outras alternativas ao uso da estatina para paciente intolerantes ou que não conseguem reduções maiores com o uso da mesma em altas doses, portanto, nesse caso, o estudo funcionaria como uma evidência direta para aquele paciente com condições de arcar com os custos do tratamento, contudo esse mesmo custo cria um distanciamento do seu uso para a grande maioria das pessoas.

Outro ponto interessante é que o estudo reforça a tese do "more is more" - contudo ainda ficam os questionamentos sobre a existência de um ponto de inflexão ou uma curva em J.
Finalizando, fica outro ponto a considerar -  os valores absolutos são mais importante que as reduções percentuais - existindo então a necessidade de metas terapêutícas?