校方利用AI監控可能自殺的孩子。但這帶來什麼代價?

(SeaPRwire) –   美國10至14歲青少年之間的自殺率現在是。青少年自殺的問題最近部分由於缺乏心理衛生專業人員,尤其是在醫院缺乏時,如果有提供,校內的心理學家、輔導員或社工可以幫助識別高風險青少年,並採取適當的措施。

為了解決這個問題,面對資金和人手短缺的巨大壓力,校長越來越多地看到技術可以幫助他們應對青少年自殺危機。具體來說,像Bark、Gaggle、GoGuardian和Securly等公司開發了可以追蹤學生在學校發放的計算機使用情況,以識別面臨心理健康挑戰的學生的技術。它可以在背景中運行學生學校發放的計算機設備和帳戶,並標記可能表示自我傷害風險的活動。

這種追蹤軟件正在全國範圍內使用,涵蓋數百萬學生。但是,許多家長和社區成員都不知道它的存在。學生可能有一定程度的意識到學校設備被監控,但很可能對『如何』使用它了解有限。儘管識別自殺風險可能是一個值得的目標,但AI監控可能感覺像是隱私的重大侵害,同時也可能帶來其他未預期的傷害。

作為研究不平等、心理健康和技術政策的工作,我們訪問和談話了學校工作人員,以便更好地了解這種軟件的利弊。一位校長告訴我們,這種監控軟件『可以』識別學校工作人員可能未曾注意到的高風險學生,為他們提供機會在情況惡化前進行干預。

我們是研究人員,但我們都也是家長,這種為自殺風險檢測提供的額外安全感,一開始,似乎是理所當然的。失去孩子的想法是非常可怕的,所以學校採用這種看似低成本的工具「抓住」學生在Google搜索欄中的自殺相關私密和敏感思想,是完全可以理解的。

但是,問題是,除了一些例子外,這種軟件的準確性缺乏堅實的證據,歷史上有許多以心理健康干預為目的的良好『嘗試』卻造成了傷害。同樣,新興技術對青少年心理健康的影響也日益明顯。

通過對現有證據的仔細審查,以及與數十名學校工作人員、家長和其他人的訪談,我們發現,以AI為基礎的監控,遠非解決持續增長的青少年自殺問題的解決方案,反而可能產生更多問題。

首先,AI監控的使用威脅到學生的隱私。由於該軟件在學生使用學校發放的計算機設備和帳戶時運行,它有可能收集大量有關他們生活的數據。雖然一些公司已經採取行動保護學生數據,但沒有國家法規限制收集的大部分數據如何儲存和是否共享。

此外,家庭可能很難退出使用這種軟件。我們發現,在許多學區,家庭必須同意使用AI監控,作為使用學校發放的計算機設備的條件。如果家庭退出監控,他們必須提供自己的電腦用於學校,這對許多家庭來說都不現實。

其次,我們的研究顯示,許多家長和研究人員擔心使用基於AI算法識別高風險學生可能加劇不平等。例如,有報告稱LGBTQ+學生的網絡搜索被AI軟件過度標記。然後他們的活動可能被提交給學校工作人員,非自願地「出櫃」這些學生。

自殺風險預測算法在少數群體中的偏差已經通過其他研究得到證實。雖然許多人聲稱這些算法可以被『校正』,但由於缺乏透明度,難以了解AI警報是如何和何時生成的,這使得難以審計數據以更好地理解是否存在偏差。2023年的另一項研究進一步關注了AI監控學生軟件生成的警報,發現這些程序一直在標記與種族、性別和性取向有關的內容,包括尋找馬爾科姆X和華盛頓同性戀男子合唱團等主題。

最後,雖然是AI軟件生成警報,但學校必須決定如何應對接收的警報。通過我們的訪談,我們聽說AI監控生成的警報曾用於學生紀律處分。例如,我們與一位教師交流,他告訴我們一名正在經歷心理健康挑戰的學生因AI監控而被學校停學,而不是與心理衛生專業人員會面。

更糟糕的是,AI監控可能導致學生與執法人員接觸增加。例如,我們發現,在周末和學校假期,當沒有工作人員在場審查信息時,許多學校會自動將AI產生的自殺風險警報轉發給當地執法部門。從學校的角度看,這樣做通常是確保正在經歷心理健康危機的學生能夠立即獲得幫助的最好方式。但是,執法人員可能不太適合幫助需要支持的學生,甚至可能『加重』情況。我們已在其他案例中看到,當警察被叫來協助心理健康危機時,與執法人員接觸的風險是真實的-尤其是對有色人種青少年-這一點在權衡AI工具的利弊時必須考慮。

一些我們訪談的人也指出,這種軟件有可能加劇現有學校紀律不平等。例如,我們知道,少數群體學生已面臨不成比例多的學校紀律處分,如停學和開除,這與種族歧視有關。AI軟件生成的警報可能通過增加學生與執法人員接觸的可能性加劇這種差異。

總之,目前尚不清楚這些工具是否能準確檢測學生自殺風險。到目前為止,沒有研究跟蹤這些程序標記為「高風險」自殺的學生,看他們是否真的面臨風險(「真正陽性」),或者不是(「假陽性」);也沒有研究看看實際面臨自殺風險但未被程序標記的學生數量(「假陰性」)。學校和執法部門對這些警報的應對方式以及最終學生結果-是否獲得醫療護理或心理健康護理,或者是否與執法人員發生暴力衝突-也沒有被記錄下來。由於缺乏證據,目前無法清楚地判斷這種軟件的利大於弊。

家長、學生、學校工作人員和健康專業人員必須仔細權衡AI監控的潛在利弊。雖然它可能是學校在面臨不斷增長的青少年心理健康危機時的重要資源,但這種技術的實際利弊,包括是否能準確檢測自殺風險,目前尚不清楚。

與此同時,學區使用預算部署AI工具檢測自殺風險,重要的是認識到其已知問題。這種軟件提出了重要的隱私問題,並可能加劇現有不平等。因此,AI公司和學校必須確保家庭獲得有關軟件使用的全面信息。家庭也應該能在不受懲處的情況下退出監控。此外,需要在聯邦、州和地方層面實施更多規定,以確保有保護措施保護學生。