給娃拍照

卻被封號？

上著班聊著天， Mark 突然就被警察找上門了。

因為他的手機被發現有一張手機里含有兒童性器官的照片，于是 Mark 被懷疑是一個針對兒童下手的性犯罪者。而且警方發現，這張照片居然來自 Mark 的兒子 ……

一個變態的戀童癖形象大概已經開始在你腦海里構建起來。

先別急著憤怒，事情很快出現了反轉。原來這張照片是 Mark 兒子生病后，為了讓醫生了解病情而拍攝的，而且 Mark 也從未公開發布過這張照片。

那么警方是如何得知的呢，是 Google 的 AI 系統檢測到了 Mark Android 手機里的照片，并判定他為犯罪嫌疑人，轉而向警方舉報，并禁用了他的 Google 賬號。

在美國，Google 全家桶的普及程度大概相當于微信，也就是說 Google 這一番操作，直接讓 Mark 從線上到線下全方位社死。

更為可怕的是，和 Mark 一樣被平臺檢測到異常順便舉報的人，遠不止一個。

孩子線上問診的照片，讓他被認定為罪犯

Mark 的孩子在學習走路時患上了腹股溝炎癥。由于疫情嚴重，當時大部分人都在居家隔離，Mark 只能選擇線上問診，提供孩子腹股溝的照片，試圖幫醫生更好地做出診斷，醫生也根據描述的病情、展現的照片開出了處方。

但就是這些照片出了問題，Android 手機里的照片自動同步到了云端，Google 系統將這些照片識別為了兒童性虐待內容 CSAM（Child Sexual Abuse Material）。

在被識別后，Mark 的網絡使用癱瘓了一半，因為他被封了。Gmail，用戶用來登錄其它平臺的賬戶郵箱；Google Fi，用戶的移動虛擬運營商，打電話上網都用得上；Google Photos，再也無法訪問，里面有你家人的照片回憶 …… 這些通通被封了。因為 Google 覺得你涉嫌兒童性犯罪，所以封了你的賬戶順便「替你」報了警——平臺封號后向國家失蹤與被剝削兒童中心（NCMEC）提交了一份報告，這份報告引發了警方的調查。

10 個月后，這位父親收到了舊金山警局的通知，他們根據 Google 提供的照片報告對他進行了全方位的調查。

為了更好調查潛在的兒童性犯罪嫌疑人，警方還向 Google 發出了搜查令，要求提供 Mark 所有賬戶信息，視頻、照片、位置數據、互聯網搜索報告等內容。對 Mark 來說，這真的是無妄之災，要是警察調查大張旗鼓一些，恐怕連工作都沒法做了。

好在仔細調查后，警方確認了這位父親并不存在任何針對兒童的性犯罪行為。

這位父親很清白，但 Google 很死板。即便是提供了經過警方證實的無罪報告，也無法讓他成功向 Google 申訴找回賬戶。他曾經留在自己賬戶中的照片信息都已被完全鎖定，無法再看到。能看到的只有 Google 的提醒——

你的賬戶因含有嚴重違反 Google 政策且可能非法的有害內容而被禁用。

申請解封是沒有用的，你只能換郵箱、換電話，在數字世界從頭開始。外媒報道了這樣兩個普通用戶，他們都為孩子網上問診拍攝了兒童性器官相關的照片，從而被判定違規封號，直到今天都無法找回自己的賬號。

他們甚至不是特例。2021 年，Google 向 NCMEC 的 CyberTipLine（舉報兒童性侵項目）報告了 621583 起案件。NCMEC 則向當地執法部門公告了 4260 名潛在受害者，請求警方協助調查，在這些孩子受到進一步傷害時解救他們。

聽上去是一個技術及時制止犯罪、預防犯罪的好故事，但當這個名單里包含和 Mark 孩子一樣只是問診的未成年時，就是「抓住一千，也錯抓一個」的悲傷故事了。

在所有技術偵查領域中，唯有兒童性犯罪例外

只是雖然有錯抓，Google 明顯也不打算改。不僅不解封經過警方認證的清白用戶賬戶，也不打算停止這個會有缺陷的審查機制。

Google 發言人 Christa Muldoon 就表示：「我們遵循美國法律定義什么是 CSAM，并使用哈希匹配技術和人工智能的組合來識別它，再從我們的平臺上刪除它。我們的兒童安全專家團隊會審查標記內容準確性，還會咨詢兒科醫生確保我們能夠識別用戶可能尋求醫療建議的情況。」

問題在于，Google 的審核團隊并沒有醫學專業背景，在審查每個案例時也不一定都會咨詢專業的兒科醫生。所以錯判在這個過程中可以說是難以避免的，唯一能夠降低這種錯判影響力的只有專業機構的判定和執法機構的二次審查。

但對于被誤判的人來說，這真的是無妄之災。因為這種誤判，你的重要賬號被鎖了；因為這個判斷，你被警察調查了；因為這些錯判，身邊人看你可能也會戴上有色眼鏡。

電子前沿基金會 EFF 的技術項目主任 Jon Callas 對媒體表示 Google 的做法是有侵入性的。「這正是我們都擔心的噩夢——他們要掃描我們的家庭相冊，然后我們就會遇到麻煩。」

但這不是 Google 才會遇到的問題，因為幾乎所有科技巨頭在關乎 CSAM 內容時都有異常積極的行動。Amazon 和 Facebook 和 Google 一樣有人工智能 + 人工的審核機制，發現有嫌疑的用戶業余酌情刪除或禁用 URL、圖像、聊天功能，嚴重的封禁帳戶。2021 年，亞馬遜也向 NCMEC 提交了 33848 份 CSAM 報告。至于隱私問題，在這個技術打擊犯罪的故事里似乎被忽略了。

在捍衛用戶隱私的故事中，蘋果拒絕「協助解鎖」的故事最讓人印象深刻。

當時美國福利機構內發生了一起嚴重的恐怖襲擊槍擊案，兇手在逃亡途中被擊斃。警方在調查中發現兇手與中東「伊斯蘭國」極端組織通過手機的加密通信進行聯系，只是由于手機設有密碼，法院也只能要求 iPhone 生產商蘋果公司協助政府解鎖。

但蘋果公開宣布拒絕遵行這道命令，理由是為了保護用戶隱私：「如果政府動用《所有令狀法案》讓解鎖 iPhone 變得更容易，它就有能力侵入任何人的設備并取得其數據，政府就可以延伸這種侵犯隱私的做法。」

但即便是在義正嚴辭拒絕過解鎖用戶 iPhone 的蘋果在兒童性犯罪領域也不是沒有動搖過。和 Google 一樣，蘋果也想過使用一種新工具掃描用戶的 iCloud 照片，它會匹配 NCMEC 已有的圖像數據庫，如果發現了足夠多的相似圖像就會移交給操作員進行檢查，繼而通知 NCMEC。

蘋果當時還計劃推出一項新的 iMessage 功能，旨在「當 ( 孩子 ) 接收或發送色情照片時，提醒孩子和他們的父母」。13 歲以下的兒童接收或發送圖像會向父母發出警告，而所有兒童用戶在即將接收、發送被懷疑的色情圖片時也會收到警告通知。

這個變化趨勢沒過多久就被叫停了，因為反對的聲浪實在太大。EFF 認為這個新變化可能「為你的私人生活打開后門 …… 所有 iCloud 照片用戶的隱私減少，而不是改善。」就連斯諾登也表示「不管本意有多好，今天可以掃描兒童色情內容，明天就可以掃描任何東西。」

蘋果最終擱置了圖像掃描部分的功能，但依舊保留了在家庭共享計劃中包含兒童帳戶的可選功能。家長可以選擇性為孩子開啟分析圖片是否有裸露圖像的功能，如若監測到裸露圖像還會進行模糊處理。

就連蘋果也想要在自己產品中加入 CSAM 識別功能，很大一部分原因是這屬于紅線——無論是對于普通用戶、執法機構，亦或是平臺，它們對這件事的容忍度都極低。

這同時也意味著當你真的需要科技公司技術配合的時候，選擇兒童性犯罪案件先進行合作會獲得較多的民眾支持。

英國在線安全法案的更新就打算規定「用戶對用戶服務」提供商必須努力向國家犯罪局報告任何分享的兒童性剝削和性虐待內容。這項立法修正案明確規定，企業應開發能夠檢查信息 ( 包括端到端加密通話 ) 的軟件，以主動發現兒童性犯罪材料并向當局報告——否則將面臨制裁。

只是 Google 的故事則告訴我們，哪怕這個功能順利運行也有「錯殺」的風險，而每一次誤傷對于清白的用戶都會造成傷害。技術未必能夠解決所有的問題，我們熟悉的人工智能、算法在面對棘手的社會問題時依舊過于「單純」，很難依靠單一的技術去發現潛在或已經發生的犯罪。

技術的介入甚至可能給原本艱難的環境帶來新的問題，并不是初衷是好的就一定會有好的結果。畢竟有時候，通往地獄的道路往往由善意鋪就。

題圖來自《網絡煉獄：揭發 N 號房》