城市安全人工智能應用管理辦法(試行)

城市安全人工智能應用管理辦法(試行)第一章總則為規范本市城市安全領域人工智能應用活動，保障城市運行安全，保護公民合法權益，推動城市安全智能化健康發展，根據《中華人民共和國網絡安全法》《中華人民共和國數據安全法》《中華人民共和國個人信息保護法》《新一代人工智能發展規劃》《網絡安全等級保護條例》等法律法規和政策規定，結合本市實際，制定本辦法。本辦法適用于本市行政區域內城市安全領域人工智能技術的研發、部署、運營、服務及監督管理活動，覆蓋政府投資、社會投資建設的各類城市安全人工智能應用項目。本辦法所稱城市安全人工智能應用，指面向城市公共安全、生產安全、交通安全、消防安全、生態環境安全、生命線工程安全、網絡安全等領域風險的感知識別、預測預警、指揮處置、評估復盤等環節，運用機器學習、計算機視覺、自然語言處理、知識圖譜、生成式大語言模型等人工智能技術開展的技術應用與服務活動。城市安全人工智能應用管理遵循以下基本原則：堅持安全優先，將安全要求貫穿應用全生命周期；堅持創新可控，在保障安全的前提下鼓勵技術創新；堅持分類監管，根據風險等級實施差異化管理；堅持權責清晰，落實應用主體責任，明確監管部門職責；堅持倫理合規，保障公民合法權益，維護公共利益。責任分工如下：市網信部門負責統籌協調全市人工智能應用的網絡安全、數據安全、算法安全監管工作；市應急管理部門作為城市安全領域人工智能應用管理的牽頭部門，負責綜合協調、準入審查、備案管理、監督檢查等日常工作；市公安機關負責社會治安、公共安全領域人工智能應用的安全監管，依法打擊利用人工智能開展的違法犯罪活動；市住房和城鄉建設部門、交通運輸部門、消防救援機構、生態環境部門、政務服務數據管理部門、自然資源和規劃部門等按照職責分工，負責本行業領域城市安全人工智能應用的業務指導和行業監管；人工智能應用的研發、運營、使用單位是安全責任主體，應當落實全生命周期安全管理要求，承擔相應安全責任。第二章分類分級管理本市對城市安全人工智能應用按照風險程度實行分類分級管理，根據應用場景、影響范圍、危害后果分為重大風險、較大風險、一般風險三個等級：（一）重大風險應用：指直接支撐城市核心安全管控、應急處置，發生故障或者錯誤輸出后可能造成10人以上死亡、或者50人以上重傷、或者1億元以上直接財產損失、或者重大社會影響的應用，主要包括：涉恐涉暴違法犯罪智能預警、大規模人群聚集風險管控、城市燃氣/供水/供電/排水等生命線工程核心智能調度、礦山和危化品企業重大危險源智能決策處置、城市核心區智能交通信號控制、營運類自動駕駛車輛動態調度、大規模核生化風險智能監測處置等。（二）較大風險應用：指發生故障或者錯誤輸出后可能造成3人以上10人以下死亡、或者10人以上50人以下重傷、或者1000萬元以上1億元以下直接財產損失、或者較大社會影響的應用，主要包括：一般公共場所安防人臉識別、普通生產經營場所安全風險智能識別、住宅小區火災智能預警、一般區域環境質量智能監測、中小橋梁結構健康智能監測等。（三）一般風險應用：指發生故障后不會直接造成人員傷亡、重大財產損失，不影響城市整體安全運行的應用，主要包括：城市安全知識智能咨詢、安全培訓智能問答、安全管理信息統計整理、便民安全服務提示等。市應急管理部門應當編制并定期更新《本市城市安全人工智能應用風險分級目錄》，每2年向社會公布一次，根據應用發展動態調整分級標準。第三章準入與備案管理建立城市安全人工智能應用準入與分級備案管理制度：（一）重大風險應用準入管理：重大風險應用上線運營前，應用主體應當提前60個工作日向市應急管理部門提出準入申請，提交以下材料：1.應用主體資質證明文件；2.應用需求說明書與技術方案；3.具備資質的第三方機構出具的安全評估報告；4.數據合規性證明文件；5.倫理審查報告；6.專項應急處置預案。市應急管理部門收到申請后，應當在5個工作日內完成材料初審，材料齊全的，在15個工作日內組織市網信、公安、數據管理、行業主管部門以及專家評審委員會開展聯合評審，專家評審委員會成員不少于7人，其中公共安全、網絡安全領域專家占比不低于50%，評審實行無記名投票，獲得三分之二及以上贊成票方可通過準入審查，通過后頒發《城市安全人工智能重大應用準入許可證》，有效期為5年，有效期屆滿前6個月應當重新申請準入審查；未通過審查的，應用主體6個月內不得再次提出申請。境外組織、機構、企業以及境外資本控股的境內機構，不得申請開展重大風險城市安全人工智能應用運營服務，重大風險應用的核心算法必須實現自主可控，不得使用境外未備案的算法模型。（二）較大風險應用備案管理：較大風險應用上線運營后30個工作日內，應用主體應當登錄市政務服務數據管理平臺提交備案材料，包括應用主體資質、應用說明、內部安全自評估報告、倫理審查意見，市應急管理部門應當在5個工作日內完成材料核驗，出具備案證明，備案信息每年度更新一次。（三）一般風險應用告知性備案：一般風險應用上線運營后10個工作日內，應用主體在市政務服務數據管理平臺填報主體信息與應用基本情況即可完成備案，無需實質性審核。涉及國家秘密的城市安全人工智能應用，按照國家保密法律法規另行管理，嚴禁使用未經過保密安全審查的大語言模型處理涉密信息，嚴禁使用涉密數據訓練非公有的人工智能模型。第四章全生命周期安全管控應用主體應當落實城市安全人工智能應用全生命周期安全管控責任，建立從研發、部署、運營到退出的全流程安全管理制度：（一）數據安全管控：城市安全人工智能應用采集數據應當嚴格遵循“最小必要、合法正當”原則，不得超出城市安全管理需求采集數據，采集敏感個人信息應當符合法律法規規定，取得個人單獨同意，法律法規另有規定的除外；嚴禁過度采集公民人臉、指紋、聲紋、出行軌跡、生物特征、居住地址等敏感個人信息，訓練人工智能模型所使用的個人信息必須進行去標識化或者匿名化處理，處理后的信息無法單獨或者結合其他信息識別特定自然人，建立數據采集、存儲、使用、傳輸、銷毀全流程審計日志，審計日志留存期限不得少于3年，數據留存期限不得超過應用運行的必要需求，除法律法規另有規定外，數據留存最長不得超過5年，超出留存期限的應當及時不可逆刪除。生成式人工智能應用訓練數據應當獲得合法授權，不得使用非法獲取的文本、圖像、視頻等內容訓練模型，不得使用受版權保護的未授權內容訓練模型。（二）算法安全管控：重大風險和較大風險應用應當采用可解釋、可審計、可溯源的算法，嚴禁采用不可解釋的“黑箱算法”開展安全決策類應用；重大風險應用的核心算法源代碼、模型權重應當按照要求報送市網信部門指定的安全存管平臺留存，應用主體不得擅自變更核心算法與模型參數，確需變更的，重大風險應用應當重新申請準入審查，較大風險應用應當更新備案信息。城市安全人工智能風險識別應用應當滿足性能指標要求：重大風險類應用對預設風險目標的識別準確率不得低于99%，虛警率不得高于0.1%，漏警率不得高于0.05%；較大風險類應用識別準確率不得低于95%，虛警率不得高于1%，漏警率不得高于0.5%。應用主體應當每年對算法開展偏見性測試、魯棒性測試、對抗性測試，及時修復算法偏見、算法漏洞，防止算法被攻擊篡改輸出錯誤結果。（三）系統安全防護：城市安全人工智能應用系統應當按照《網絡安全等級保護條例》要求開展定級備案，重大風險應用應當達到網絡安全等級保護三級及以上防護要求，較大風險應用應當達到網絡安全等級保護二級及以上防護要求，應用主體應當每半年開展一次全網漏洞掃描，每年開展一次全系統安全滲透測試，建立7*24小時實時運行監測機制，系統發生異常波動、異常輸出的，應當在15分鐘內觸發內部預警，1小時內上報屬地行業主管部門和應急管理部門。建立分級容災備份機制，核心業務數據實行每日異地備份，全系統備份每周不少于1次，重大風險應用應當具備獨立離線運行保障能力，在外部網絡中斷的情況下，應當能夠維持核心安全功能正常運行不少于24小時，保障應急處置需求。（四）應急處置管理：應用主體應當針對人工智能應用可能發生的算法錯誤、系統故障、數據泄露、被非法攻擊等安全事件制定專項應急預案，明確應急處置流程、責任人員、處置措施，每年至少開展1次應急演練，演練評估報告報送市應急管理部門。發生安全事件后，應用主體應當第一時間啟動應急響應，對發生故障的應用采取熔斷、限流、暫停運營等管控措施，防止風險擴大，按照要求及時告知受影響人員，1小時內上報市應急管理部門和網信部門，24小時內提交書面初步報告，事件處置完成后7個工作日內提交完整的事件處置與溯源報告。第五章倫理規范城市安全人工智能應用應當嚴格遵循人工智能倫理規范，堅持以人為本、公共利益優先：（一）所有依托人工智能輸出的風險預警、處置建議，必須經過人工復核后方可采取處置行動，重大風險預警必須由2名及以上具備相應資質的工作人員復核確認，嚴禁完全依托人工智能自動作出限制公民人身自由、查封扣押財產、實施管控措施等公權力處置決定。（二）嚴禁人工智能應用設置歧視性規則，不得基于公民的種族、民族、宗教信仰、性別、年齡、殘障、戶籍、地域身份等實施不合理的風險歸類，不得對特定群體采取歧視性安全管控措施。（三）嚴禁利用城市安全人工智能應用采集的信息開展商業營銷、金融信貸評級、個人信用評價等與城市安全無關的活動，未經監管部門批準，不得向任何第三方提供城市安全人工智能應用采集的各類數據。（四）應用主體應當建立內部倫理審查制度，設立內部倫理審查委員會，重大風險應用的倫理審查委員會中，外部社會公眾代表、法律專家、倫理學者占比不得低于三分之一，所有城市安全人工智能應用上線前必須通過內部倫理審查，出具倫理審查意見。第六章監督檢查與評估本市建立城市安全人工智能應用常態化監督檢查與動態評估機制：（一）分級監督檢查：建立“雙隨機、一公開”監督檢查機制，對重大風險應用每年開展1次全覆蓋監督檢查，對較大風險應用每兩年抽查比例不低于50%，對一般風險應用每年抽查比例不低于5%，檢查內容包括數據合規、算法安全、系統防護、倫理落實、應急準備等，檢查結果向社會公開。（二）年度安全評估：重大風險應用每年開展一次全生命周期安全評估，評估由應用主體委托具備人工智能安全評估資質的第三方機構開展，評估報告報送市應急管理部門，評估不合格的，責令限期3個月整改，整改后仍不合格的，撤銷準入許可，停止運營。（三）公眾監督與信用管理：市應急管理部門設立公開的投訴舉報渠道，包括電話、郵箱、線上入口等，接受公眾對城市安全人工智能應用違法違規行為的舉報，舉報經查證屬實的，對舉報人給予1000元以上50000元以下的獎勵。建立城市安全人工智能應用主體信用管理制度，將應用主體合規情況納入本市公共信用信息平臺，對嚴重違法違規的應用主體，列入失信聯合懲戒名單，3年內不得參與本市行政區域內城市安全領域政府投資項目投標。（四）退出管理：應用主體擬停止運營城市安全人工智能應用的，應當提前30個工作日向原準入或者備案部門報告，制定數據處置方案、業務銜接方案，保障相關安全管理業務平穩過渡，不得擅自停止運營影響城市安全；停止運營后，應用主體應當按照要求對采集的所有數據進行不可逆刪除或者依法脫敏存儲，對廢棄的系統硬件、存儲介質進行安全銷毀，防止數據泄露。第七章法律責任違反本辦法規定的，按照以下規定追究責任：（一）應用主體有下列情形之一的，由市應急管理部門責令改正，給予警告，并處1萬元以上10萬元以下罰款：1.應當辦理備案未按照要求辦理，或者備案信息存在虛假隱瞞的；2.未按照要求開展年度安全評估、應急演練的；3.未建立全流程安全審計、數據留痕制度的；4.停止運營未按照要求提前報告、做好業務銜接的。（二）應用主體有下列情形之一的，由市應急管理部門責令停止運營，限期改正，并處10萬元以上50萬元以下罰款，情節嚴重的，提請市場監管部門依法吊銷營業執照：1.重大風險應用未取得準入許可擅自上線運營的；2.擅自變更核心算法模型，未按照要求重新審查或者備案的；3.未達到網絡安全等級保護要求，存在重大安全隱患，經責令整改仍不達標的；4.發生安全事件未按照要求上報，隱瞞不報造成風險擴大的。（三）違反本辦法規定，侵害公民個人信息權益、違反數據安全管理規定的，由網信、公安部門按照《中華人民共和國數據安全法》《中華人民共和國個人信息保護法》《中華人民共和國網絡安全法》等法律法規予以處罰；因人工智能應用錯誤輸出、故障、安全事件造