Research design and the gold standard

[tapirul]

de mult vreau sa incep un topic (ii tot promit lui cerbu) despre research design and (gold) standards, in care vreau, printre altele, sa demontez mitul ca "randomized double-blind trial" is really the gold.
Pana una alta atasez aici un articol care ataca exact gold standardul asta.
O sa revin, time permitting.

[ada]

Orice design are avantaje si dezavantaje,acuma depinde ce populatie ai,care sunt obiectivele...
In programul nostru, gold standard e cohorta.
Adevarul e ca din punctul de vedere al researcherului cred ca e ideal sa iei o populatie si sa o urmaresti vreo 10 ani sau cat te tine grantul, studentii lucreaza, este destul timp si pentru paperuri, tenure merge...faci o viata,ce mai.

[tapirul]

asta e adevrat, dar chiar si pentru situatia specifica a studiilor clinice cu medicamente, double-blind randomized trials it's far to be perfect, iar evidence-based medicine nu e chiar asa de evidence based. Designul s-ar putea imbunatati relativ usor (dar cu validitate mult mai buna) daca industria farmaceutica si FDA ar vrea. Problema e ca industria farmaceutica nu vrea, iar FDA este anchilozat intr-un worldview care nu mai e actual demult. Iar doctorii cred in randomized trials ca in Biblie (aici il atac, subtil, pe cerbu :) ), in timp ce pacientii cred in doctori.

[Furnika]

Parerea mea e ca pana acum compromisul intre FDA si companiile farmaceutice a functionat. Tapirului ii place sa teoretizeze. Sa luam un caz concret: PTC124 care e in faza a IIIa si e primul medicament care ar putea fi utilizat ca pilula zilnica in bolile genetice
( forteaza citirea prin mutatii nonsens si s-ar putea folosi in DMD, fibroza chistica etc). Poti sa spui unui 'apartinator' ca trebuie sa astepte zece ani ca sa faci tu nspee mii de studii triplu blind? Peste zece ani probabil bolnavul respectiv ar fi un invalid, n-ar mai beneficia de tratament sau ar fi mort de-a binelea. Poate bolnavul respectiv si-ar asuma riscul sa foloseasca medicamentul fara sa astepte zece ani; la fel e si in cazul citostaticelor. Mi se pare ne-etic sa ii iei unui bolnav o minima si ultima sansa preferand sa fii mai catolic decat papa.

[tapirul]

ai inteles totalmente pe dos. NU vreau sa fiu mai catolic decat papa, si nu spun ca ce se face acum (double-blind tralala) NU ar trebui sa se faca. Spun numai ca exista (teoretic) metode de IMBUNATATIRE a design-ului. Spun, deci, ca double-blind randomized etc NU e gold. Si, mai ales, NU este "deocamdata asta avem, mai bine nu se poate, cand s-o inventa raza lui Pulaski o sa se poata". E o metoda mica si  perfectibila, si care devine din ce in ce mai obsolete, asa cum e ea acum. Pe asta o avem, cu asta defilam, nu zic sa o discard ca vreau eu sa teoretizez.

exemplul tau cu GR54Qst3-kO  nu e concludent deloc. Pot argumenta ca tu scoti pe piata un medicament care functioneaza in 10 cazuri, nu functioneaza in 400 si face rau in 90. Studiul tau double blind nu imi spune decat ca functioneaza in unele cazuri, dar nu spune DE CE in cazurile alea si nu altele. Io in asta sunt interesat, ADITIONAL faptului ca vreau sa fac bine alora 10.

[tapirul]

PS ai citit articolul? pariez ca nu.

[ada]

Mie strict din punct de vedere al designului,clinical trial nu mi se pare nici mai bun nici mai rau decit celelalte.Acuma poate cu randomizarea si blindingul (daca e double) mai poti minimaliza biasul dar are in rest destule alte bube gen noncomplianta, residual carryover plus problemele etice.
Asa ca nu stiu cat de tare cred doctorii in trialurile astea, cert e ca nu sunt foarte multi care sa vrea sa se ocupe de ele. Ceea ce e destul de normal la urma urmei, cine vrea sa se trezeasca ca vine careva cu avocatii sa intrebe "Auzi bre, da' mie de ce mi-ai dat placebo?".

[tapirul]

si, mai ales, nu are nici cea mai mica pretentie de external validity. In plus, cum argumenteaza si articolul, cu un sample suficient de mare poti gasi significant orice diferenta triviala. Efectul semnificativ se poate baza numai pe reactia unui numar mic de participanti, si nu se poate sti, din design, de ce pe aia si nu pe altii. De fapt compania nici nu e interesata in asta, e interesata sa spuna "merge, e statistically significant" si sa vanda.
Daca vorbim numai de metodele statistice si puterea computationala care s-au dezvoltat meanwhile, nowadays se poate face mult mai mult, pe langa ANOVA.

[ada]

Chiar si cu un sample mare,poti intra in noroaie la data analysis.Daca de exemplu populatia nu e omogena sau are caracteristici care se modifica in timp si nu randomizezi in blocks,atunci tot pe undeva pe langa drum esti.
In afara de ANOVA,merge in SAS si un proc glm sau si mai bine un proc mixed cu random statement ;-).

[tapirul]

i-o bîtă la SAS, folosesc Mplus, STATA, HLM, SPSS, WINSTEPS. Sa vezi ce frumos poti sa faci misture modeling in Mplus... Cu categorical dependent variable, nu conteşte.

[ada]

Nu stiu Mplus,eu folosesc aproape numai SAS si foate rar STATA (in loc de calculator).
Mai este unul, Epi Info ii zice, mic, incape pe un flash drive, poti sa-l downloadezi free de la CDC.
Am inteles ca stie sa faca si regresii, dar n-am idee cat de usor e de folosit.

[A CERB]

Pai si tu ai inteles gresit si folosesti citate scoase din context. Chestia cu raza lui Pulaski era o figura de stil, evident. Se referea mai mult la faptul ca pe medici ii intereseaza mai mult daca tratamentul ajuta, si nu neaparat cum ajuta. Double blind este gold standard( chiar daca tie nu iti place sa admiti) pentru ca este larg acceptat. Nu e nimeni refractar la un standard mai bun, doar ca nu exista acum( sau nu e implementat, whatever). Eu ma plangeam ca medicina alternativa nu are nici macar dovada asta imperfecta.

[tapirul]

bre, ai citit articolul?
Double blind e standard, dar nu e gold. Cand zici "gold" implici, unu, ca e perfect, si doi (corolar) "ceva mai bine nu se poate." Asta e mashinatiune in limitele legii, ca si small print-ul. Double blind design adreseaza niste aspecte, intr-adevar, dar care sunt minore relativ la anvergura si implicatiile unui proiect ca asta. Sunt alte aspecte mult mai importante care nu sunt adresate intr-un clinical trial (pentru ca ar fi prrea scump, prea complicat si mai ales mai nesigur cand e vorba de obtinut "significant effect"), si peste se trece cu vederea tare usor (si intentionat).
"raza lui Pulaski" - am folosit doar o expresie la indemana. "Gold standard" implica, cum spuneam mai sus, ca intre el si raza lui pulaski nu se mai poate gasi nimic, la asta ma referam cu expresia, nu sa te citez scos din context.
Mai devreme sau mai tarziu se va produce o schimbare de paradigma si in clinical studies. Read my lips.

Hai ca poate am timp la noapte sa elaborez.

[A CERB]

Btw, raza lui pulaschi era citat din mine, but i'll let it slide.

Am dat peste  o chestie draguta. Here it is,  special pentru tine:

"Statistics are like bikinis;what they reveal is interesting. what they hide is essential"

[tapirul]

pai nu te-ai prins, tocmai ca era citat din tine, de aia am pomenit. Era o aluzie fina.

Da. Si un bun statistician e cel care e in stare sa reveal what is hidden.
Nu orice barbat e in stare sa dea jos un bikini. Sau sa convinga bikini-ul sa come down. Same with statisticians.

[tapirul]

iete ca am cazut in pacat si am comentat prin alte parti.
Pe blogul lui krossfire
si pe a lul stefan

[tapirul]

sa continui aici. Patriotism local.

Nu există pacient average. Există pacientul X din populaţia generală al cărui evoluţie e prognozată de analiza acelui sample reprezentativ. Fără nici un fel de complicaţii, analizând o singură caracteristică, putem compara cu speranţa de viaţă în funcţie de sex. Se poate spune atunci că orice bărbat are şansa de 10% de a depăşi 70 de ani (fabulez cu cifrele). E perfect acceptabil statistic să fac o asemenea afirmaţie, şi faptul că tu vrei să măreşti precizia analizând toate caracteristicile nu schimbă situaţia.

EBM nu e legată de anumite metode de modelare, poate să evolueze şi va evolua, dar nu-ţi pune speranţele în companiile farmaceutice pentru asta.

Pai tocmai asta zic si eu, nu exista pacient average. Metoda statistica a lui EBM (asa cum e folosita ea) tocmai asta face, isi bazeaza analiza si conlcuziile pe average. Si de aici pericolul, si de aici critica mea. Average (mean) este extrem de putin informativ (mai bine ca nimic, admit).
Atata timp cat sansa de a depasi 70 ani este influentata SI de alti factori, NU poti spune, statistic, ca un barbat ANUME (orice barbat)are sansa etc, pentru ca la cifra aia de 10% au contribuit barbati cu un numar neevaluat de alte caracteristici diferite nedeterminate nici astea. Dupa cum zic, statiscic nu e acceptabil sa aplici probabilitati la nivel individual. Am mai zis si repet, se cheama ecological fallacy. In limbaj neprofesional putem spune ca ics are sansa igrec, in limbaj stiintific, statistic, nu putem. Statistic spunem ca daca dam tratamentul unui grup de 100 de barbati, 10 se vor vindeca, dar nu putem spune, aprioric, care dintre astia 10 (in limbaj profan am putea spune 'nea Ioane, daca dam hapul asta lui matale si la inca alti 99 de barbati, 10 dintre voi se vor vindeca; e mai bine ca la ţaţa Ileana, că in cazul dumneaei dacaă dăm hapul la 100 de femei numai 3 se vor vindeca") . Si nota bene, nu vorbesc aici de generalizare (external validity), ci de subiectul ics DIN STUDIU. Daca discutam despre generalizare si cat de reprezentativ e un sample (nu e niciodaya), complicatia se complica.

Inca ceva (legat tot de ecological fallacy), un studiu statistic NU prognozeaza evolutia unui individ, ci pe cea a unei populatii. Prin definitie. De aia este o stiinta probabilistica si nu una deterministica. La nivel individual, pana la urma, tot la gut feeling se ajunge, more likely than not (ask any doctor, yourself included).

[tapirsis]

pai nu te-ai prins, tocmai ca era citat din tine, de aia am pomenit. Era o aluzie fina.

Nu orice barbat e in stare sa dea jos un bikini. Sau sa convinga bikini-ul sa come down. Same with statisticians.

Doar saftanebuna stie secretul.
Sorry for off-topic. I'm outta here.

[vlad]

Încet, încet, tapirul bloguieşte... ;)

Semi on topic, e fantastic ce face tapirul aici. E un pic păcat,  că n-o face pe imed, fie-mi iertată blasfemia, sau poate, tapire, ar merita înfiinţarea unui blog special pentru chestiile astea. Avem multe de învăţat, iar tu evident ai ceva de oferit.

[Furnika]

Tapiru, inteleg ca scepticismul si critica sunt instrumentele omului de stiinta care esti, dar nu pricep ce sistem o fi mai bun (macar teoretic) decat cel acceptat acum. Si de ce. In general nu schimbi niciodata o echipa care castiga, asta o stie si Mischie care-i doctor in istorie.
E evident ca nu exista "pacient average" si in consecinta nimeni nu-l trateaza :D
E unul nu cred ca e vorba gut feeling in decizia medicala ci de capacitatea medicului (bun) de a analiza si compila datele statistice (literatura) cu situatia particulara a pacientului pe care il are in fata (dupa cum spui tu un pacient e unikat, nu exista boli ci bolnavi, in sfarsit cunosti gargara); ceea ce numesti tu 'gut feeling' eu cred ca e o decizie complicata (cu o gramada de variabile, proababil de asta pare gut feeling din afara) bazata pe studiile statistice citite de doctor, pe experienta medicului ( iarasi, asta nu e 'gut feeling'), pe parametrii masurabili ai bolnavului respectiv, pe dinamica lor samd. De asta exista doctori si nu computere care prescriu pastile pe baza studiilor clinice, pentru ca decizia medicala e greu de pus in ecuatie si greu de scris in C++. De asta exista doctori buni si doctori prosti.
Rezultatele studiilor clinice sunt adevaruri stiintifice. Un adevar stiintific nu e bun sau rau, el este. Studiile reprezinta instrumente pentru medic, nu metode.
Eu cred ca un doctor bun stie sa se fereasca de gut feeling, mai ales in USA.

[tapirul]

De asta exista doctori si nu computere care prescriu pastile pe baza studiilor clinice, pentru ca decizia medicala e greu de pus in ecuatie si greu de scris in C++. De asta exista doctori buni si doctori prosti.

pai aici te contrazici singur, daca nu ar fi gut feeling ci doar o compilatie isteata de date, un computer ar face treaba mai buna decat un om.
Inca ceva, spune-mi tu ce procent de doctori citeste studii statistice. Sau, mai bine, arata-mi UN doctor care citeste studii statistice si le si intelege.
Anyway, that's beside the topic a little. Tocmai ce vreau eu sa explic este ca un sistem mai bun EXISTA deja, numai ca nu e adoptat de industria farmaceutica si de FDA. Nu vorbesc deci despre raza lui pulaski aici. Ti-am dat cateva exemple: teoria statistica, programele si puterea computationala de a face analize (si design-uri) mai puternicie exista: latent growth modeling de exemplu, in care trasezi traiectoria fiecarui subiect din studiu (o traiectorie estimata, nu aia reala, ca aia reala e supusa erorilor de masurare - aici vii cu prima estimare si primii parametri, ce factori influenteaza forma curbei in fiecare pacient?) si apoi estimezi ce factori influenteaza diferentele intre aceste curbe acrross subjects (initial level, slope, quadratic effect if you estimate one, etc, sau cum s-ar spune de ce unii incep mai sus sau mai jos si ami ales de ce unii se vindeca mai rapid sau mai lent). Este un procedeu extrem de elegant si foarte informativ si mai ales foarte aplicabil studiilor clinice in care ai (sau ar trebui  sa ai) analize longitudinale (pentru un growth curve iti trebuie cel putin 3 data collection points). Metodele de acum cinci mii de ani folosite acum (t-tests and ANOVA) sunt extrem de limitate in informatia oferita. In psychology and social sciences nu prea mai publici daca vii cu un amarat de ANOVA (chiar si cu un repeated measures ANOVA). Sunt obsolete, depasite, la fel cum Windows Vista e mai bun ca DOS. Industria farmaceutica, insa, a ramas tare in urma (si ai zice ca ei sa fie ei cei mai progresisti, avand in vedere ca ei deal cu sanbatatea omenirii).


Si asta e doar un exemplu. Exista Structural Equation Modeling de exemplu. Sau latent class analysis de exemplu. Ca sa nu mai spun de Multilevel MOdeling, care ar trebuisa fie obligatoriu, avand in vedere ca datele sunt culese nu independent (randomly) ci in clusters, that is, subiectii sunt grupati pe doctor sau cabinet, ca asa se fac studiile; pacientii doctorului ics au ceva in comun ce pacientii doctorului igrec nu au, cat ar fi ei de random (si nota bene, randomizarea NU se efectueaza la stadiul de racolare de subiecti, ci DOAR la stadiul de impartire a subiectilor in control grup/treatment group), si anume chiar doctorul respectiv. Cum spui si tu exista doctori buni si doctori rai, raspunsul la un tratament este influentat SI de doctorul repsectiv, nu numai de pastila in studiu. Treaba asta e aruncata la gramada intr-un average effect in analiza care se practica la ora actuala in Big Pharma.
Si asta limitandu-ma NUMAI la metodele de analiza statistica.

Rezultatele studiilor clinice sunt adevaruri stiintifice. Un adevar stiintific nu e bun sau rau, el este

Ha. Inca esti naiv. Spune asta celor nascuti cu focomelie in urma talidomidei. Un adevar stiitific obiectiv NU exista, orcat am vrea noi sa credem otherwise. Nu exista decat interpretarea noastra, imperfecta, a unor cifre imperfecte obtinute cu metode imperfecte. Stiinta este PROBABILISTICa. Ar fi cum zici tu daca ar fi deterministica, dar din pacate nu e.

Vlad, multumesc de aprecieri, de mult ma tot chinui sa scriu pe tema asta. Acum ca sa declansat iar, poate reusesc, desi sunt tare prins in alte chestii.

[A CERB]

OK, Tapiru, da-mi un exemplu concret:

Cum ai trata un pacient prediabetic de 50 ani cu antecedente heredocolaterale de infarct ( fratele de 45 ani-infarct fatal). Pacientul este perfect asimptomatic,perfect BMI are tensiune perfecta, doar LDL este 258. Alergic la aspirina. Teoretic are nevoie numai de statina. Practic ce ii faci in modelul actual de medicina cu restrictiile de rigoare( FDA indications si insurance prior authorizations) si ce i-ai face tu in modelul ideal?

[tapirul]

habar nu am. Nu i-as face nimic pentru ca, unu, nu e treaba mea sa tratez pacienti, si doi aici nu vorbesc de medicina aplicata, ci vorbesc despre cum se face o cercetare ca lumea (sau cum ar trebui sa se faca), vorbesc despre pretentia medicinei (a industriei farmaceutice mai precis) ca poseda "dă gold standard" cand de fapt metoda de CERCETARE E DEPASITA DE MULT, vorbesc despre faptul ca lumea (mai ales medicii) ar trebui sa fie aware ca "clinical randomized double blind trial" bla-bla este un buzz word care isi trage mult mai mult merit decat merita. Ca sa zic asa.
You're beside the point here. Daca o sa imi zici iara ca eu susitn medicina alternativa, ma las pagubas.

[A CERB]

Nu, bre, vreau sa-ti spun ca supararea ta pe evidence based e fara obiect precis. Adica e supararea statisticianului din tine, nu a medicului din tine. Pentru o proportie suficient de mare, EBM merge.

Omul asta evident sare din standardele de care te plangi si tu. La nivelul asta, individual, lasi deoparte statistica si standard of care( care spui sa nu-i dai Clopidogrel decat daca are boala dovedita pe care nu  ai cum sa o dovedesti pentru ca nu are simptome si nu se califica pentru un test de efort).

Si ii dai cu gut feeling-ul sau cu analiza aia complexa de care vorbea Furnica. Eu l-am pus sa faca un cateterism virtual cu care am dovedit o placa de 70% pe LAD. Am avut de ales intre sansa de a face reactie alergica sau nefropatie de contrast( mica, estimez eu) si sansa de a face infarct potential fatal daca nu e tratat mai agresiv pentru ca sare din model.Cum am facut treaba asta? Am mintit, sau mai bine zis I strecthed the truth. L-am impins cat am putut de mult sa spuna ca are dispnee de efort pentru care am facut tomografia zisa de torace( ca cica aia de coronare poate fi considerata experimentala si deci asigurarea poate sa nu acopere).

Ideal ar fi sa dezvolti un model prin care sa-i faci ceva genetic profiling si sa vezi ce ar fi mai likely sa-i scada sansa de events si sa mai fie si bine tolerat. Medicina se indreapta acolo, doar ca nu la pasul pe care il vrei tu si nici in modul in care vrei tu.

Vorbind de analogia ta Vista-Norton Commander. Este windows un mare rahat care ia controlul userului? ESte. Putea sa fie mai bine? Probabil. Dar, package dealul cu windows-ul este raspandirea extraordinara a PC, usurinta de funtionare, popularizarea internetului, etc, etc.Pe ansamblu nu cred ca este ceva negativ.

La fel si cu farma. Profituri dezgustator de mari, dar ele merg si in cercetare si, cel putin in oncologie, tratamentul este din ce in ce mai individualizat. Profilingul ala genetic este prohibitiv de scump la ora actuala( ca sa aflam ca Mateutza nu are celiaca am platit din buzunar pentru HLA D nu stiu care cam 800 dolari), dar piata are mania de se autoregla( daca nu intervin isteti ca w care blocheaza reimportarea din canada).

[tapirul]

ba supararea mea este pe un obiect foarte precis. FOARTE precis.
Ai citit articolul? Nu. Stiam. Stii despre ce vorbesc eu aici? Nu cred, ca vad ca ma combati beside my point si vii cu exemple clinice (as good as they are) care nu au legatura cu "supararea" mea.

Te'ntreb, daca Mateutza ar face gâlci, ce i-ai da? Penicilina in cur la sase ore, zece zile, facute cu seringa de metal si sticla fiarta jumatate de ora, sau _______ (te las pe tine sa pui numele), sirop, trei zile o data la 12 ore? Nu penicilina?? Pai ce are penicilina?? Pai MERGE, dom'ne, stiintific si dovedit. Comparatia cu Norton Commander ai inteles-o gresit. Hai sa iti mai explic o data: exista deja Vista, SQL, browsere, Intel Duo, Palm, iPhone etc, etc, da? EXISTA. Seful tau in schimb iti spune ca DOS e dovedit ca merge bine ca sistem de operare, Norton Commander e suficient, MERGE, si nu iti da voie sa ai altceva pe calculatorul de la office (care apropo, este un 386 care MERGE, a fost folosit cu succes de mii de oameni). Sa nu mai vorbesc de Palm si alte dracarii gen internet si Ovid, exista dom'le biblioteca, exista reviste de specialitate pe hartie, o suta de ani medicii s-au descurcat cu ele, MERGE, ce ne trebuie noua ultimile racnete in media, informatica si raspandirea informatiei?? Ce-i aia telefon mobil? da' de scrisoare scrisa de mana si de posta nu ai auzit? Eventual dusa cu caii.  Ai considera cererea ta exagerata, sau pe sef sarit de pe fix?
Cam asa si cu FDA, Big Pharma si "the gold standard" - the gold standard este Norton Commander running on 386 intr-o lume care a descoperit Intel Duo si internetul. O, da' suna fain "calculator" "informatica', buzz-words.

A, apropo de "merge". De un' stii tu ca merge?

Eu spun doar atat, the gold standard nu e nici pe departe the gold standard. Buzz words stiu si eu cu carul, dar incerc sa discern care sunt buzz-words si care nu.

[vlad]

si alte dracarii gen internet si Ovid

Iar te iei de Indian?  ;D

Pe aici, din câte ştiu eu, există un singur medic care se pricepe realmente la statistică, unu în toată ţara, la Colentina, ţine din când în când conferinţe în care cât de falacioase sunt toate studiile astea măreţe cu care ne iau ochii repii, şi cam cât spun ele în realitate. Adesea mi-a picat faţa e jos. Io nu mă pricep deloc la statistică. Ştiu doar că la noi vine fiecare firmă de medicamente cu câte un RCT şi ne zice: iote, al nostru e cel mai bun. Am mai văzut, cu ochii miei, cam cum se face, practic, un studiu. În psihiatrie, cred că avem cele mai falacioase studii din toate specialităţile. Am început, cu încetul, să îmi pierd încrederea în medicamente. (Iar psihoterapia, cea mai mare parte, nu se lasă investigată statistic).
Întrucât sunt un ignorant, adesea nu mai ştiu ce să cred. Paranoic, mă gândesc că firmele farmaceutice păstrează modelele învechite de care zice Tapirul pentru că or fi mai uşor de manipulat şi de "întins". Dar nu ştiu cu adevărat lucrul ăsta, fiindcă nu ştiu statistică. Bleah. Şi pauza mea intelectuală se termină în 3 săptămâni.

[tapirul]

motivele pentru care se agata de metodele vechi sunt simple. O firma baga 2 miliarde de dolari intr-un medicament, iar in analiza finala iese "statistically significant improvement", on average. Nu conteaza ca s-au improve numai 10 la suta din pacienti. Daca faci analiza statistica riguroasa, cu ultimele metode, jumatate din medicamentele "minune" care se tot lanseaza nu ar mai primi aprobare.

[Furnika]

Rezultatele studiilor clinice sunt adevaruri stiintifice. Un adevar stiintific nu e bun sau rau, el este

Ha. Inca esti naiv. Spune asta celor nascuti cu focomelie in urma talidomidei. Un adevar stiitific obiectiv NU exista, orcat am vrea noi sa credem otherwise. Nu exista decat interpretarea noastra, imperfecta, a unor cifre imperfecte obtinute cu metode imperfecte. Stiinta este PROBABILISTICa. Ar fi cum zici tu daca ar fi deterministica, dar din pacate nu e.

Stai bre, nu te ambala in discutii filosofice. Eu vorbesc de un fact care poate fi reprodus in aceleasi conditii, cu aceleasi metode de catre un observator independent: asta reprezinta un adevar stiintific.
Tu te referi la lipsa informatiei in legatura cu talidomida. Da, talidomida era eficienta dar nu se stia la momentul respectiv ca e teratogena. Asta nu schimba cu nimic adevarul stiintific cum ca talidomida este eficienta. In 2004 s-a aprobat folosirea lenalidomidei in cazuri de mielom si alte sindroame hematologice. Acum spune tu astora sa nu ia analogul de talidomida.
PS: esti ingrozitor de imbarligacios pentru un scientist.

[tapirul]

iar tu esti ingrozitor de ne-sceptic  ;D
Okay cu adevarul stiintific. Dar asta nu elimina argumentul meu ca in medicina ce se face acum e depasit dpdv al metodei. Adevarul stiintific "este" indeed, dar este supus interpretarilor. Daca iti dau o pilula si o sa demonstrez ca o sa iti creasca IQ-ul cu 0.5 puncte, demonstrat riguros prin metoda stiintifica, asta e un adevar stiintific, da, dar este trivial.
Tu faci analiza de laborator, nu? Ce aparatura, ce echipament folosesti? mai folosesti eprubeta si chimicalele folosite acum 50 ani? Ma indoiesc, ai probabil acces la ultimul spectrometru sau whatever lab technology you are using. Poti sa spui ca aia de acum 50 de ani nu faceau stiinta pentru ca nu aveau echipamentul de azi? Faceau, riguros, nu contest asta. Dar in ziua de azi de ce nu mai folosesti metodele lor? - pentru ca sunt depasite. Atat.
Asta se intampla si in EBM, se folosesc metode depasite. Nu contest rigoarea stiintifica a trialurilor clinice, ci doar metoda.

[A CERB]

Da, bre, ti-am cetit articolul. Sunt confuz, though. Domnul acela are niste valid points, dar se invarte putin in cerc la logica. El spune ca sunt studiate loturi mari de oameni pentru ca nu avem knowledge-ul necesar profilingului( cum spuneam si eu mai sus), dupa care se plange ca beneficiul pe ansamblu este relativ mic( ii place numarul 5, 5% deriva beneficiu sau beneficiul este 5%, nu prea stie nici el si face referinta la el insusi-nr8). Mai si spune ca nu se castiga nici un knowledge din studiile astea, desi este fals si uneori se obtine un alt knowledge decat cel postulat, dar totusi un knowledge.


Nu mentioneaza decat trecator the number needed to treat, pentru ca nu convine argumentatiei lui.

De asemenea, chestia cu beneficiul mic absolut dar semnificativ statistic se aplica si riscului. Wyeth este in deep shit pentru ca Women health study a dovedit cresterea riscului cardiovascular de la 5/10000 la 8/10000 cu combinatie de hormoni( care merg la hotflashes indiferent cum randomizezi). Sunt pline ziarele de lawyers' adds.

Se plange ca randomizarea este faulty si schimbatoare si ca celelalte stiinte tin toate variabilele constante studiind numai una uitand ca viata e ceva aparent mai complex decat chestiile pur fizice. .

Se plange de marele pharma care ii are in buzunar pe doctori uitand ca o gramada de studii sunt facute printre altii de NIH fara nici o interferenta a pharma si cu full discosure a oricarei afilieri cu cercetatorii.

DE asemenea, spune ca satistically significant nu dovedeste cauzalitatea in mod cert, dar nu propune un model alternativ.

Si aici vroiam sa ajung, explica-mi, totusi care este windows-ul ala vista care pune to shame Dos-ul rct-ului. Explica-mi, te rog ca pentru profani cum ar trebui sa fie gandit 4S( scadinavian simvastatin study), de exemplu( ca tot face domnul referinte la statine) ca sa satisfaca standardele mai inalte care lipsesc acum.

[tapirul]

pai ajung si acolo, gimme some time

PS faptul ca face referinta la el insusi nu inseamna ca nu stie ce zice, ci ca a explicat in alta parte si o sa faca economie de spatiu aici, ca spatiul alocat uni articol e limitat de editorial.

Beneficiul si riscul sunt trebi diferite. E vreau ideal ca beneficiul sa fie maxim si riscul mic. Nu vad de ce ai bagat comaratia asta aici.
Cu toata stima, analiza ta a articolului e quite faulty.

...5/10000 la 8/10000 cu combinatie de hormoni( care merg la hotflashes indiferent cum randomizezi).

Ce are randomizarea de a face cu treaba aia??????

[A CERB]

Pai are, dar nu pe afirmatia aia se bazeaza argumentatia mea si nici nu trebuie sa dismiss ce am spus pe baza asteia.

Randomizarea deficienta era argumentul domnului cum ca nu sunt alese bine populatiile de studiu, nu?

Ce e faulty in analiza mea? Domnul face niste afirmatii afirmandu-si scepticismul. Eu imi afirm scepticismul fata de scepticismul lui, afirmand ca e critica de dragul criticii si ca nu e ceva constructiv. Inca nu am vazut aspectul constructiv, dar astept cu interes.

Mentionez ca nu am inceput sa citesc articolul hotarat sa-l demontez, dar domnul te cam invita la asta.

Referinta la el insusi este foarte confuza mai ales pentru ca acolo se refera la 5% beneficiu dupa care spusese 5% beneficiari. Nu ma lua cu economia, ca are destul spatiu sa vorbeasca de pescari si plevusca.

[tapirul]

pai asta faci, "afirmi", ca si Jon Stewart. Domnia lui o face macar la o emisiune cu generic clar. Analiza critica a unui articol nu ar trebui sa includa ironii, iar afirmatiile trebuie backed up. Domnul nu "face" niste afirmatii, ci le si explica. Tu nu.

Randomizarea in clinical trials NU are nimic de a face cu alegerea populatiei de studiu.

Apropo de spatiu, de unde stii tu ce restrictii de spatiu are jurnalul respectiv? Esti culmea (uite de aia ma enerveaza la culme afirmatiile de genul asta, pe hotnews.ro abunda, romanul se pricepe la toate si are opinii "educate" apropo de tot ce misca si nu misca), jurnalele iti masoara articolul la numar de cuvinte, si trebuie sa te incadrezi. De aia scrierea unui articol e mai complicata decat scrierea unei dizertatii de doctorat.

Zi-mi ce are de a face randomizarea cu 8/10000 care merg la hotflashes indifferent de randomizare.
Sau si mai bine spune-mi ce e randomizarea in contextul clinical trials, si de ce se face.

Ce e faulty?
Uite:

Se plange ca randomizarea este faulty si schimbatoare si ca celelalte stiinte tin toate variabilele constante studiind numai una uitand ca viata e ceva aparent mai complex decat chestiile pur fizice.

Nu, domnul nu "uita" ce zici tu acolo. Spune doar ca randomizarea e faulty (si este uman sa fie faulty), dar e prezentata drept the best thing since sliced bread (inclusiv tu declami, ca intr-un templu, "randomized controlled trials"). Randomizarea este de fapt o incercare de rezolvarea a unei probleme relativ mici (pe care nu o rezolva total) ba mai mult, din cauza randomizarii privita drept "gold" alte metode sunt ignorate. Astept sa imi explici ce e si de ce se face si apoi elaborez.

DE asemenea, spune ca satistically significant nu dovedeste cauzalitatea in mod cert, dar nu propune un model alternativ.

Nu propune pentru ca nici nu exista. Explica insa ce e aia effect size, si despre asta vorbeste el acolo. Statistical significance poate fi obtinuta pentru diferente triviale daca sample size e mare. Si in clinical trials e mare. Ideea autorului este ca companiile farmaceutice fac mare tam-tam ca au obtinut "satistical significance" uitand sa mentioneze exact ce spune autorul, statistical significance nu inseamna neaparat cauzalitate sau relationship.
Si mai sunt, dar acum ma aflu la un seminar - intamplator unul de statistica si methods -  (e pauza de masa) si tre' sa ma intorc la treaba

[tapirul]

inca ceva, o critica nu trebuie sa fie "constructive" ca sa fie o critica valida. Logic vorbind.

[A CERB]

Unde e bre ironia?

OK, uita de " indiferent cum randomizezi" , am recitit paragraful pag 652 dreapta sus si el zice ceva de subgrupuri si ca sunt recrutati(cu intentie?) pacienti care nu au nici o legatura cu studiul, dar poate am inteles eu gresit.

Din cate am inteles eu de la anul 5, scopul randomizarii este sa te asiguri ca grupurile comparate sunt relativ similare. Sunt o gramada de criterii de excludere pentru studii, care ar confuza potential tabloul.

Cand mi-a venit reprezantata de actonel cu un studiu care se compara cu fosamax, i-am dat cu el in cap pentru ca era randomizat la shto.Efectiv i-am spus ca studiul este a piece of shit si ca imi insulta inteligenta. Actonel are o singura doza aprobata pentru preventie si tratament(35) pe cand fosamax are 35 pentru preventie si 70 pentru tratament. Grupurile erau analizate folosind o densitate osoasa medie, fara a imparti populatiile in osteopenice si osteoporotice. Asta e un exemplu de poor randomization si poor selection la un loc, zic eu.

[tapirul]

ba esti cam ironic "astept cu interes", "nu stie nici el ce vrea" etc
da, randomizarea are drept scop sa te asiguri ca grupurile sunt oarecum similare. asta din dorinta de elimina (de fapt de a uniformiza) alte posibile cauze. Practic prin randomizare nu "controlezi" pentru noise ci il repartizezi in mod egal - cum ar fi, daca nu poti sa maturi camrea, macar raspandeste gunoiul uniform. Este mai bine decat quasi-experiment (of course - quasi-experiment fiind experimentul in care control-group si treatement group nu sunt randomizate ci self-selected sau selectate pe alte criterii, sa zicem ca decine doctorul cine e unde) dar orisicat, randomizarea nu este o scula de ridicat in slavi si considerat the best of the best, ci mai degraba o proptea. Intre timp s-au adus la lumina si alte proptele, din pacate sunt ignorate. Ideea este ca ce nu poti controla prin design poti sa masori si sa analizezi statistic. In trecut asta nu era preferat pentru ca, unu, tehnicile statistice (si programele de calculator plus puterea computationala) nu existau inca, si doi , datorita tehnicilor statistice folosite, era o problema de statistical power - era de evitat folosirea a prea multor variabile. In ziua de azi insa teoriile statistice, tehnicile statistice,  plus programele de calculator au ajuns la un nivel negandit in urma cu nici 10 ani. Sau cinci. Uite o sa caut niste papers despre diverse tehnici statistice moderne, cand ai timp skim printre ele si spune-mi cat de aplicabile ar fi studiilor clinice si cat de aplicate sunt in fact. Uite aici, to start with

[A CERB]

Ba chiar asteptam cu interes si fara ironie. Chestia cu 5% este trantita aiurea sau exprimarea lui e deficitara si acolo chiar cred ca el nu prea stie ce spune. In plus, generalizarea lui cu 5% nu-si are rostul, nu cred ca toate studiile sunt asa de mari ca sa dovedeasca un reducere de risc relativ pe cifre mici. Daca el asa sustine, ar trebui sa-si sprijine afirmatia cu o statistica, ceva. In plus, nu mi-ai raspuns la " number needed to treat", si nici el nu insista, dupa cum am precizat.

O sa incerc sa cetesc din linkul ala, dar pare groaznic de mult si de tehnic. Nu ai ceva mai pe intelesul meu?

[tapirul]

O sa incerc sa cetesc din linkul ala, dar pare groaznic de mult si de tehnic. Nu ai ceva mai pe intelesul meu?

;D Asa zic si cei din Big Pharma si FDA....

[A CERB]

Si totusi, daca ai timp, da cu okiu la 4S ( unde selectia a fost oarecum ciudata-cam 60 la suta nu pimeau aspirina, sper ca randomizarea a fost ok) si spune-mi cum crezi ca era mai bine sa fie facut. Nu-mi spune ca trebuia alta selectie de pacienti dovediti la risc, am inteles argumentul domnului cu stiinta imperfecta. Spune-mi cam cum ai fi incercat tu sa dovedesti ca simvastatinul scade accidentele coronariene. Sunt foarte curios si nici un pic ironic.

[tapirul]

pi unde il gasesc ca vad ca pe medline si ovid nu sare

[tapirul]

oricum, ala e un studiu de acum 13 ani, cand metoda statistica si puterea computationala nu era asa de dezvoltate ca acum. Eu nu critic metodele RCT ca fiind nefondate, ci ca sunt obsolete si nu vor sa se adapteze.
Spune-mi de exemplu, ce ai zice daca as cere un grant pentru un medicament, spunand clar ca NU o sa fac un studiu randomized? Fara sa gandesti, prima reactie.

[A CERB]

As spune da-mi dovada ca merge.

Nu te-am trimis la 4S de-ampulea, aci pentru ca e landmark si pentru ca domnul se refera la statine ca la apa de ploaie. Oricum, textul lui e plin de defecte, pentru ca postuleaza o gramada de chestii fara nici o dovada( implica cum ca toate medicamentele aprobate cu studii mari trateaza numai un numar mic de pacienti care ar beneficia, etc, etc). Sincer, mie nu mi se pare serios ce spune el, desi inteleg perfect argumentele mi se pare ca logica lui e vicioasa si inca nu am auzit nimic de alternativa aia mai buna.

Astea fiind spune, imi faci o bucurie si te uiti la 4S sa-mi spui cam cum ai incerca sa arati ca statinele scad cardiac events in a different way?

[tapirul]

imi faci o bucurie sa imi spui cum gasesc articolu'? Cam am explicat mai sus.
Te-am prins, citesti in diagonala, ha-haaaa!

si ai auzit de variante mai bune, ti-am explicat de vreo sase ori - use latent growth modeling, use multilevel modeling (si nu batranul ANOVA si t-test), masoara mai multe variabile (inclusiv ala masurate in mod normal in social sciences - rasa, SES, bla, bla, ca asta influenteaza reactia la tratament - wouldn't you say so?). Cam asta.
Omul facea o generalizare, poate un pic fortata, to make a point. In mod pur statistic (indiferent cat de bun e design-ul) cand folosesti ANOVA obtii efectele medii si nu poti sa disatenuezi pentru efecte individuale. Uite un exemplu, daca io tu si gogu incepem cu 1000$ pe luna, cat e average salary? - 1000$, nu? Peste un an insa tu ai 1900$, io cobor la 100$, gogu ramane la 1000$. Care e average? - pai tot 1000. Nu s-a scimbat nimic, nu? Whatever we thought will impact our salary dodn't impact at all, is it not? Well, io personal coborand de la 1000 la 100 nu prea as fi de acord.
Asta e point-ul pe care il face dansul, analizand efecte MEDII pe sample (cum faci cu ANOVA si t-tests) nu poti sa spui, statistic, ce s-a intamplat DE FAPT. Cu alte metode statistice (de le-am mentionat) trebile astea pot fi analizate foarte frummos. In latent growth modeling de exemplu analizezi evolutii INDIVIDUALE (si prezici o anumita ecuatie, sa zicem liniara sau uadratica - si analizzi de ce indivizii deviaza de la linia predicted), analizezi ce determina diferentele in intercept and slope accross individuals, ba poti sa faci si latent class analisys (profiling d'ala, nu genetic dar orisicat) in care grupezi indivizi cu traiectorii similare impreuna (in "classess") si apoi poti, unu, prezice ce determina un individual sa fie intr-o clasa sau alta si doi, class membershiip can predict some outcomes.
De exemplu.

[A CERB]

Pai, bre, exista scor pentru colesterol care e standard of care:

http://hp2010.nhlbihin.net/atpiii/calculator.asp

Problema e ca scorul e folosit de doctor pentru a determina riscul pacientului, nu de Pharma cand face selectia pentru studiu. Dar Pharma poate spune( si o face, ca medicamentul nostru scade LDL-ul cu 30% sau whatever si mai departe e treaba doctorului sa decida riscul pacientului sau nevoia de medicament).

Inca o data, domnul face mai mult decat exagereaza, el generalizeaza si eu nu am vazut dovada, decat postulate.

Inteleg argumentul tau cu mediile, dar tot nu inteleg cum propune el sa se dovedeasca ca un medicament ajuta pentru nu stiu ce boala in afara de argumentul cu selectia care nu merge tot timpul pentru ca nu ai tot timpul know-how-ul necesar.

Nu mi-ai explicat de 6 ori, mi-ai enumerat de 6 ori. Si eu chiar nu pricep. De ce nu putem lua un caz concret de medicament si de boala? O sa sap dupa 4s, daca nu il cer de la Merck si ti-l dau.

[tapirul]

okay, ma mai uit o data la articolul omului si detaliez.

Ideea mea este ca tu te iei de amanunte (a generalizat prea mult, chestii), pe cand eu vorbesc (si el) de general picture. Chiar daca la amanunte tipul exagereaza si tu ai dreptate (sau nu satisface pe toti), la general picture are dreptate. Si de aia am zis ca nu am nevoie de un studiu particular ca sa imi demonstrez parerea; TOATE studiile se fac bazat pe acelasi principii generae (cum se recruteaza subiectii, cum si ce se randomizeaza, ce sa masoaara si cum se analizeaza); eu aici vin cu critica, nu la nivel de studiu individual (care pot varia enorm in cat de bine aplica principiile astea DEJA STABILITE - the golden standard ala de care vorbesc toti), ci la nivel de principii generale. NU spun ca principiile pe care se bazeaza RCT sunt proaste (deci NU trebuie sa imi demonstrezi, in particular, ca studiul cu statinele e bun, QED, modelul RCT e bun), spun doar ca principiile astea ar trebui schimbate, pentru ca deja exista chestii mai bune. Windows 98 a fost minunat la vremea lui, dar cand ai Windows Vista nu mai ai un argument bun spunand "98 a fost gold standard, dovedeste-mi ca nu, de ce sa il schimbam, what is wrong with it?". Nothing wrong with it, doar ca e depasit.
Cam asta e. In mod particular ma irita faptul ca majoritatea (you included) considera cuvantul "randomized" ca pe un soi de mantra, de "Uooooommm!" ala al yoginilor, cand de fapt NU E. In mod general ma irita pretentia ca un model obsolete e gold standard pentru ca A FOST ODATA gold standard.

Nu am glumit cand am spus ca aia de fac cercetare clinica si aia de la FDA spun ca tine "nu pricep chestiile astea, sunt prea tehnice". Intreaba pe gogu cat pricepe din chestiile alea din link; si uite iti spun ca aici la workshop-ul asta e un tip - participant, nu presenter - (vreo 70 ani cred), un excelent statistician de alminteri, care a lucrat ani de zile la FDA (la comisiile alea care analizeaza studiile propuse de companiile farmaceutice), dar care nu are deloc experienta in chestiile astea "cutting edge" din statistica, data analysis, etc. si vrea sa invete.

[A CERB]

Ba eu nu cred ca randomizat e cuvantul cheie, ci double blind.

M-ai inteles gresit, eu nu vreau sa demonstrez cu 4S nimic, sunt curios( fara misto) cum ai putea demonstra pe populatia aia( ca am stabilit ca, cu foarte putine exceptii nu prea ai predictorii care te lasa sa faci o selectie prin care sa iei numai pacientii la risc) ca statinele reduc events prin alta metoda. Daca nu-ti convine populatia, feel free to break it down to subgroups.

Nu vreau sa-l demontez pe nenea ala, nu prea am argumente nefiind in domeniu, imi manifestam un scepticism(sanatos, zic eu).

[tapirul]

double blind e si mai bleandă decat randomized. E un attempt patetic de a "controla" pentru ceva ce habar nu avem de ce se intampla. In the big order of things double blind is but a mite. Dar inteleg, suna precum cuvintele lui Moise. Stii care e rolul lui double blind?

O sa citesc si o sa iti spun ce si cum cu statinele. Dar again, nu e vorba de a demonstra ca statinele sunt bune (nu contest demonstratia).

Acum ca doctor, spune-mi in cate necunoscute te scalzi cand administrezi un drog nou? Nu ai vrea sa stii mai precis cum merge drogul la negri fata de albi? La white trash fata de upper class? La extrovertiti fata de introvertiti? Toate astea le afli in general prin trial and error. Medicamentul, o data ce a primit patalamaua, devine din ce in ce mai putin testat empiric, si incepe din ce in ce mai mult sa se apropie de prescriptiile din homeopatie: bazat pe experienta personala a medicului, pe trial and error, pe "hai sa incercam alta doza", pe chestii d'astea care nu mai sunt, strict, stiintifice (nu cred ca tu faci un randomized double blind study de fiecare data cand tatonezi o schimbare de doza sau o combinatie noua la un pacient cu o anumita configuratie)

[A CERB]

Ba, e foarte adevarat ce spui tu, dar nu cred ca e politically corect. Eu dau lexapro la skinny neurotic chicks si Cymbalta la fat, apathetic chicks. Din experienta personala, merge mai bine asa. Cand a aparut Bidil( hidralazina /isosorbide-vechi de cand lumea) pentru insuficienta cardiaca la negrii( dovedite prin RTC ;ca merg, dar puse in umbra de inhibitori de enzima si ulterior de betablocante  a fost mare tam-tam. Daca era ceva pentru albi era si mai mare tam-tam, dar in sens negativ. Zelnorm( retras de pe piata recent) a fost aprobat initial pentru IBS la femei. Si asa auzi grupuri feminizde care sunt indignate de conspiratia masculilor care au minunatul test PSA dar femeile nu primesc minunatul test CA-125. pai iti dai seama ce ar fi sa auzi de un medicament numai pentru barbati daca nu e ceva hormonal sau legat de femei( Viagra)?

Cand o sa fie OK sa discriminezi pentru behavior o sa fie kosher(  eu inca platesc pentru Riku bitel de avion la fel cu ala de 300 lbs) si ce spui tu. Altfel, e frumos, nu zic nu, dar nu crezi ca se pot trage concluziile alea oarecum si prin analiza subgrupurilor?

[tapirul]

era doar un exemplu pentru o idee, ca un design se poate modela mult mai sensitive la o gramada de variabile si factori in ziua de azi, iar la nivel de analiza statistica lucrurile au evoluat foarte mult. Din pacate exista o foarte mare rigiditate in adoptarea noilor standarde. La nivelul companiilor farmaceutice e usor explicabil (motivul e pur economic, lor le convine metode vagi, pentu ca vor sa vanda, dupa ce au investit un miliard jumate intr-un produs), dar nu prea pricep la nivel de FDA. Este foarte multa politica si interese si in FDA, sa nu crezi ca sunt ingeri ingrijorati de soarta omeniri.
Uite atasez aici doua articole din social sciences care foloses cmetode statistice mai avansate, daca ai timp baga un oki si spune-mi cum ti se pare ca idee generala (fara sa fie nevoie sa intelegi tehnicalitatile), cat de aplicabil ar fi in medicina, si daca ai vazut asa ceva in clinical trials pentru vreun medicament.

PS am realizat numai dupa ce am salvat artcolul ca Canberra study il are ca autor pe Scott Hofer - noul nostru faculty pentru care am fost in search committee. Un tip fantastic (si tanar) caruia am de gand sa ii pick the brains as much as possible.

PS din experienta personala... :)

[tapirul]

in Canberra study, daca te uiti la pozele de la pagina 180, ASA arata de regula individual curves (banuiesc ca esti de acord ca asa ar arata si in studiul reactiilor la un medicament). Fiecare liniuta e un individ din sample. In ANOVA nu ai cum sa capturezi aceasta variabilitate individuala, cu noile metode insa o poti captura, analiza, explica (dpdv al semnificatiei statistice); poti grupa pacientii in "clase" (cu trasee asemanatoare), si apoi sa explici ce poate sa predict class membership and further, class membership can predict an outcome of interest.
Este extrem de elegant si frumos, si extrem de aplicabil in medicina, unde masuratorile sunt in general mai precise (cand masori chestii fiziologie, biochimice), nu tre' sa deal cu measurement error ca in social sciences (una e sa masori glicemie, alta sa masori attitude toward abortion). In plus studiile clinice sunt longitudinale cu multiple data collection waves, poti modela curbe quadratice, cubice, in functie de o gramada de parametri.

[tapirul]

uite aici , daca ai timp, niste seminare (unele cu video) despre diverse topice. Sunt in general in limbaj simplu, usor de inteles (desi unele sunt lungi).
Pentru cei interesati.
http://www.ats.ucla.edu/stat/seminars/