Watching the Watchmen: Assessment-Biases in Waiting List Prioritization for the Delivery of Mental Health Services

Abstract

Purpose: While the demand for mental health services increases, supply often stagnates. Providing treatment to those most in need is an important factor in its efficient distribution. We propose and conduct a statistical procedure for detecting rater-biases in patient prioritization tools. Design / Method / Approach: We gather real-life data from 266 illness severity assessments in an Austrian publicly funded mental health service provider, including a rich set of covariates. To ensure robustness, we merge this data with determinants of mental health and assessment identified by previous research, such as weather or seasonal indicators. Findings: We find statistically significant effects of rater-biases. These effects are robust to a large array of controls. Practical Implications: A back-of-the-envelope calculation reveals that the identified rater effects can translate to large changes in the waiting times for patients. Misspecified treatment allocations may lead to worsened symptoms and potentially fatal outcomes. Originality / Value: Although a growing literature focuses on patient prioritization tools, many articles study these in synthetic contexts using “vignettes”. In comparison, our study adds external validity by considering real-life treatments in the field. Research Limitations / Future Research: This study can be used as a starting point for deeper, causally focused studies. Disclaimer: In accordance with publisher policies and our ethical obligations as researchers, we report that one of the authors is employed at a company that may be affected by the research reported in the enclosed paper. We have disclosed those interests fully. Paper type: Empirical

Мета роботи: У той час як попит на послуги стосовно психічного здоров’я зростає, пропозиція часто стагнує. Надання лікування тим, хто найбільше потребує, є важливим фактором його ефективного розподілу. Ми пропонуємо та проводимо статистичну процедуру для виявлення викривлення оцінок у інструментах визначення пріоритетів пацієнтів. Дизайн / Метод / Підхід дослідження: Ми зібрали реальні дані 266 оцінок тяжкості захворювання в австрійській державній установі психіатричної допомоги, включаючи багатий набір коваріацій. Для забезпечення надійності ми поєднали ці дані з детермінантами психічного здоров’я та оцінки, визначеними у попередніх дослідженнях, такими як погодні чи сезонні показники. Результати дослідження: Ми виявили статистично значущий вплив оцінок-упереджень. Цей вплив є стійким до великої кількості контролів. Практична цінність дослідження: Зворотний розрахунок показує, що виявлений вплив оцінок-упереджень може спричинити значні зміни у часі очікування пацієнтів. Неправильний розподіл черги на лікування може призвести до погіршення симптомів та потенційно смертельних наслідків. Оригінальність / Цінність дослідження: Хоча все більше літератури присвячено інструментам визначення пріоритетів пацієнтів, багато статей вивчають їх у синтетичних контекстах, використовуючи «віньєтки». У порівнянні з цим наше дослідження додає зовнішню достовірність, розглядаючи реальні методи лікування в польових умовах. Обмеження дослідження / Майбутні дослідження: Дане дослідження може бути використане як відправна точка для більш глибоких, причинно орієнтованих досліджень. Заява про відмову від відповідальності: Відповідно до політики видавництва та наших етичних зобов'язань як дослідників, ми повідомляємо, що один з авторів працює в компанії, на яку може вплинути дослідження, представлене в цій статті. Ми розкрили ці інтереси. Тип статті: Емпіричний