許多學者和政策專家建議,國際科學理事會(擁有來自社會和自然科學領域的多元化成員)建立一個流程,以產生和維護風險、收益、威脅和機遇的帶註釋的框架/清單與快速發展的數位技術相關,包括但不限於人工智慧。 這份清單的目的是向所有利害關係人(包括政府、貿易談判代表、監管機構、民間社會和產業)通報未來可能出現的情況,並框架他們如何考慮機會、利益、風險和其他問題。
ISC 很高興提出這份關於評估快速發展的數位及相關技術的討論文件。 人工智慧、合成生物學和量子技術是以科學為基礎的創新的典型例子,並以前所未有的速度出現。 系統地預測它們的應用及其影響可能具有挑戰性。
評估生成人工智慧的社會方面,例如大型語言模型,可以預見,它代表了本文的大部分內容,是當前討論中所需的橋樑——有時是恐慌驅動的,有時是思想不夠深刻的——也是必要的課程我們可以採取的行動。 ISC 堅信,需要在社會對此類新技術的接受度與其可能的監管之間建立一個分析框架,以促進多利益相關方的討論,從而就如何優化這一快速新興技術的社會效益做出明智和負責任的決策。
ISC 透過本討論文件對我們社群的反應持開放態度,以便評估如何最好地繼續參與並為圍繞技術的辯論做出貢獻。
薩爾瓦多·阿里科,首席執行官
新公告! 閱讀 2024 年的政策制定者版本,其中包含適合您的組織的可下載框架。
政策制定者指南:評估快速發展的技術,包括人工智慧、大型語言模型等
本討論文件提供了初步框架的輪廓,為正在進行的與人工智慧相關的多個全球和國家討論提供資訊。
內容
引言
快速新興的技術在治理和潛在監管方面提出了具有挑戰性的問題。 關於人工智慧(AI)及其使用的政策和公眾辯論使這些問題成為人們關注的焦點。 雖然聯合國教科文組織、經合組織和其他組織已經頒布了人工智慧的廣泛原則,並且關於該技術的全球或司法監管的討論也剛剛起步,但高級原則的製定與將其納入監管、政策、法律和法規之間存在本體論差距。治理和管理方法。 這就是非政府科學界可以發揮特殊作用的地方。
許多學者和政策專家建議,國際科學理事會(ISC)——其成員來自社會科學和自然科學領域——建立一個流程,以製定和維護風險、利益、風險和收益的帶註釋的框架/清單。與快速發展的數位科技相關的威脅和機遇,包括但不限於人工智慧。 這份清單的目的是向所有利害關係人(包括政府、貿易談判代表、監管機構、民間社會和產業)通報未來可能出現的情況,並框架他們如何考慮機會、利益、風險和其他議題。
產出不會充當評估機構,而是充當適應性和不斷發展的分析框架,可以支撐包括政府和多邊體系在內的利害關係人可能製定的任何評估和監管流程。 理想情況下,任何分析框架的製定都應獨立於政府和產業的主張,因為它們的利益是可以理解的。 它的視角也必須最大限度地多元化,從而涵蓋技術及其影響的所有方面。
本討論文件提供了初步框架的輪廓,為正在進行的與人工智慧相關的多個全球和國家討論提供資訊。
背景:為什麼需要分析框架?
具有人工智慧複雜性和影響力的技術的迅速出現正在推動許多聲稱具有巨大好處的說法。 然而,它也引發了對從個人到地緣戰略層面的重大風險的擔憂。 許多討論往往發生在觀點範圍的極端,因此需要採取更務實的方法。 人工智慧技術將繼續發展,歷史表明,幾乎每項技術都有有益和有害的用途。 因此,問題是:我們如何從這項技術中獲得有益的結果,同時降低有害後果的風險,其中一些後果可能是嚴重的?
未來總是不確定的,但關於人工智慧和生成式人工智慧,有足夠的可信和專家的聲音來鼓勵採取相對預防性的方法。 此外,還需要一種系統方法,因為人工智慧是一類被多種類型的使用者廣泛使用和應用的技術。 這意味著在考慮人工智慧對個人、社會生活、公民生活、社會生活以及全球背景的影響時,必須考慮整個背景。
與大多數過去的技術不同,數位及相關技術從開發到發布的時間很短,很大程度上是由製作公司或機構的利益驅動的。 人工智慧正在迅速普及; 有些特性可能只有在發布後才會顯現出來,而且該技術可能具有惡意和善意的應用。 重要的價值維度將影響任何使用的感知方式。 此外,可能還有地緣戰略利益在運作。
迄今為止,虛擬技術的監管很大程度上是從「原則」和自願合規的角度來看的。 然而,最近,討論轉向了國家和多邊治理問題,包括監管和其他政策工具的使用。 支持或反對人工智慧的主張往往是誇張的,而且鑑於該技術的性質,很難評估。 建立有效的全球或國家技術監管體系將具有挑戰性,從發明者到生產者,到用戶,到政府和多邊體系,整個鏈條上需要多層風險知情決策。
儘管教科文組織、經合組織和歐盟委員會等已頒布了高層原則,並且就潛在監管問題正在進行各種高層討論,但這些原則與治理或監管框架之間存在巨大的本體論差距。 監管機構可能需要考慮的因素分類是什麼? 考慮到這些技術的廣泛影響,狹隘的框架是不明智的。 這種潛力一直是許多正面和負面評論的主題。
分析框架的開發
ISC 是整合自然科學和社會科學的主要全球非政府組織。 其全球和學科影響力意味著它有能力提供獨立且全球相關的建議,為未來的複雜選擇提供信息,特別是因為當前這一領域的聲音主要來自行業或主要技術強國。 經過近幾個月的廣泛討論,包括考慮非政府評估流程,ISC 得出的結論是,其最有用的貢獻將是產生和維護一個適應性分析框架,該框架可用作各方討論和決策的基礎。所有利害關係人,包括在出現的任何正式評估過程中。
該框架將採取政府和非政府機構均可使用的總體清單的形式。 該框架透過涵蓋人類和社會福祉以及經濟、政治、環境和安全等外部因素的廣泛視角,識別和探索人工智慧及其衍生品等技術的潛力。 根據上下文,清單的某些方面可能比其他方面更相關,但如果考慮所有領域,則更有可能做出更好的決策。 這是清單方法的內在價值。
建議的框架源自於先前的工作和思考,包括國際政府科學諮詢網絡 (INGSA) 的數位福祉報告1 和經合組織人工智慧分類框架2 呈現人工智慧的潛在機會、風險和影響的整體。 鑑於其時間和背景,這些先前的產品在其意圖上受到更多限制,因此需要一個總體框架來呈現短期和長期的全方位問題。
雖然是為了考慮人工智慧而開發的,但該分析框架可以應用於任何快速且新興的技術。 這些問題大致分為以下幾類,以便進一步審查:
上述每個類別的注意事項清單及其各自的機會和後果均包含在內。 有些與人工智慧的特定實例或應用相關,而有些則是通用的,與平台或用途無關。 這裡所包含的任何單一考慮因素都不應該被視為優先事項,因此,所有的考慮因素都應該被審查。
如何使用這個框架?
該框架可以但不限於以下方式使用:
下表是分析框架維度的早期塑造。 根據技術及其用途,某些組件將比其他組件更相關。 提供的範例是為了說明為什麼每個網域可能都很重要; 在具體情況下,該框架需要根據具體情況進行擴展。 區分平台開發和特定應用程式中可能出現的一般問題也很重要。
評估新技術時要考慮的維度
| 評估新技術時可能需要考慮的維度初稿 | ||
| 影響的維度 | 標準 | 如何在分析中反映這一點的範例 |
| 個人/自我 | 使用者的AI能力 | 可能與系統互動的使用者的能力和對系統屬性的了解程度如何? 如何提供他們相關的使用者資訊和注意事項? |
| 受影響的利害關係人 | 誰是受該系統影響的主要利害關係人(即個人、社區、弱勢群體、部門工人、兒童、政策制定者、專業人員)? | |
| 可選性 | 用戶是否可以選擇退出系統; 他們是否應該有機會挑戰或修正輸出? | |
| 人權和民主價值面臨的風險 | 該制度是否會(以及向什麼方向)影響人權,包括但不限於隱私、言論自由、公平、歧視風險等? | |
| 對人們福祉的潛在影響 | 該系統是否會(以及在什麼方向上)影響個人使用者的福祉(即工作品質、教育、社交互動、心理健康、身分、環境)? | |
| 人類勞動力流失的可能性 | 系統是否有可能自動執行人類執行的任務或功能? 如果是這樣,下游的後果是什麼? | |
| 身分、價值觀或知識操縱的潛力 | 該系統是否旨在或可能能夠操縱使用者的身分或價值觀,或傳播虛假訊息? 是否存在虛假或無法證實的專業知識主張? | |
| 自我價值衡量標準 | 塑造理想化的自我是否有壓力? 自動化能否取代個人成就感? 職場上是否有與體制競爭的壓力? 個人聲譽變得更難以防範假訊息? | |
| 隱私 | 保護隱私的責任是否分散?是否對個人資料的使用方式做出任何假設? | |
| 自治 | 該系統是否會導致最終用戶對科技的過度依賴,進而影響人類的自主權? | |
| 人類發展 | 是否會對人類發展關鍵技能的獲得產生影響,例如執行功能、人際溝通能力、影響學習的注意力時間變化、個性發展、心理健康問題等? | |
| 個人健康護理 | 是否有個人化醫療保健解決方案的聲稱? 如果是,它們是否符合監管標準? | |
| 心理健康 | 是否存在增加焦慮、孤獨或其他心理健康問題的風險,或者該技術可以減輕此類影響嗎? | |
| 人類進化 | 該技術能否改變人類進化? | |
| 影響的維度 | 標準 | 簡介 |
| 社會/社會生活 | 社會價值觀 | 該制度是否從根本上改變了社會的本質,或者使以前被認為是反社會的思想得以正常化,或者它是否違反了其所應用的文化的社會價值觀? |
| 社交聯繫 | 是否會對有意義的人際互動(包括情感關係)產生影響? | |
| 公平 | 應用/科技是否可能減少或加劇不平等(即經濟、社會、教育、地理)? | |
| 人口健康 | 該系統是否有可能促進或破壞人口健康意圖? | |
| 文化表達 | 文化挪用或歧視的增加是否可能或更難以解決? 對決策系統的依賴是否可能會排斥或邊緣化社會階層? | |
| 公共教育 | 對教師角色或教育機構有影響嗎? 該系統是否強調或減少了學生之間的不平等和數位落差? 知識或批判性理解的內在價值是被提升還是被削弱? | |
| 扭曲的現實 | 我們用來辨別真偽的方法還適用嗎? 對現實的感知是否受到損害? | |
| 經濟背景(貿易) | 工業部門 | 該系統部署在哪個工業部門(即金融、農業、醫療保健、教育、國防)? |
| 商業模式 | 該系統用於哪些業務功能以及以什麼身分使用? 該系統在哪裡使用(私人、公共、非營利)? | |
| 對關鍵活動的影響 | 系統功能或活動的中斷是否會影響基本服務或關鍵基礎設施? | |
| 部署的氣息 | 系統是如何部署的(狹隘地在組織內部署還是在國內/國際上廣泛部署)? | |
| 技術成熟度(TRL) | 該系統技術成熟度如何? | |
| 技術主權 | 科技是否會推動技術主權更加集中? | |
| 所得重分配與國家財政槓桿 | 主權國家(即儲備銀行)的核心角色是否會受到損害? 國家滿足公民期望和影響(即社會、經濟、政治)的能力會提高還是降低? | |
| 影響的維度 | 標準 | 簡介 |
| 公民生活 | 治理與公共服務 | 治理機制和全球治理體系會受到正面還是負面影響? |
| 新聞媒體 | 公共話語是否可能或多或少變得兩極化並在人口層面上根深蒂固? 會對媒體的信任程度產生影響嗎? 傳統的新聞道德和誠信標準是否會受到進一步影響? | |
| 法律規則 | 是否會影響識別個人或組織承擔責任的能力(即,針對不良結果分配給演算法什麼樣的責任)? 這是否會造成主權(即環境、財政、社會政策、道德)的喪失? | |
| 政治與社會凝聚力 | 是否有可能出現更根深蒂固的政治觀點和更少的建立共識的機會? 是否有可能進一步邊緣化群體? 對抗性政治風格的可能性會增加還是減少? | |
| 地緣戰略/地緣政治背景 | 精準監控 | 這些系統是否接受過個人行為和生物資料的訓練?如果是,它們是否可以用來剝削個人或群體? |
| 數位殖民 | 國家或非國家行為者是否能夠利用系統和數據來了解和控制其他國家的人口和生態系統,或破壞司法控制? | |
| 地緣政治競爭 | 該系統是否會影響國家和技術平台之間為經濟或戰略目的獲取個人和集體數據的競爭? | |
| 貿易和貿易協定 | 該體系對國際貿易協定有影響嗎? | |
| 全球權力的轉移 | 民族國家作為世界主要地緣政治參與者的地位是否受到威脅? 科技公司是否會行使曾經為民族國家保留的權力,並且它們是否會成為獨立的主權參與者? | |
| 造謠 | 國家和非國家行為者是否更容易製作和傳播影響社會凝聚力、信任和民主的虛假訊息? | |
| 環境建議 | 能源和資源消耗(碳足跡) | 系統和要求是否增加了能源和資源消耗的消耗,超過了透過應用程式獲得的效率增益? |
| 影響的維度 | 標準 | 簡介 |
| 數據和輸入 | 檢測與採集 | 數據和輸入是由人類、自動感測器還是兩者收集的? |
| 數據來源 | 至於資料是提供的、觀察到的、合成的還是衍生的呢? 是否有浮水印保護出處? | |
| 數據的動態性質 | 資料是動態的、靜態的、不時更新的還是即時更新的? | |
| 權利 | 資料是專有的、公共的還是個人的(即與可識別的個人相關)? | |
| 個人資料的可識別性 | 如果是個人數據,它們是否是匿名或假名的? | |
| 資料結構 | 資料是結構化、半結構化、複雜結構化還是非結構化? | |
| 數據格式 | 資料和元資料的格式是標準化的還是非標準化的? | |
| 數據規模 | 資料集的規模是多少? | |
| 數據的適當性和品質 | 數據集是否適合目的? 樣本數是否足夠? 是否足夠具代表性和完整性? 數據的噪音有多大? 是否容易出錯? | |
| 型號 | 資訊可用性 | 是否有有關係統型號的資訊? |
| AI模型類型 | 該模型是像徵性的(人類生成的規則)、統計性的(使用資料)還是混合的? | |
| 與模型相關的權利 | 該模型是開源的、還是專有的、自我管理的還是第三方管理的? | |
| 單一或多個模型 | 系統是由一個模型還是由多個相互關聯的模型所組成? | |
| 生成性或歧視性 | 此模型是生成型、判別型還是兩者兼具? | |
| 建築模型 | 系統是根據人類寫的規則、數據、監督學習還是強化學習進行學習? | |
| 模型演化(AI 漂移) | 模型是否透過與現場數據互動而進化和/或獲得能力? | |
| 聯邦或中央學習 | 模型是集中訓練還是在多個本地伺服器或“邊緣”設備中訓練? | |
| 開發與維護 | 該模型是通用的、可自訂的還是根據人工智慧參與者的數據量身定制的? | |
| 確定性或機率性 | 模型是以確定性方式還是機率性方式使用的? | |
| 模型透明度 | 使用者是否可以使用資訊來了解模型輸出和限製或使用約束? | |
| 計算限制 | 系統有計算限制嗎? 我們可以預測能力跳躍或縮放定律嗎? | |
| 影響的維度 | 標準 | 簡介 |
| 任務和輸出 | 系統執行的任務 | 系統執行哪些任務(即辨識、事件偵測、預測)? |
| 結合任務和行動 | 系統是否結合了多項任務與操作(即內容生成系統、自主系統、控制系統)? | |
| 系統的自治程度 | 系統行為的自主性如何?人類扮演什麼角色? | |
| 人類參與程度 | 是否有人參與監督人工智慧系統的整體活動以及決定何時以及如何在任何情況下使用該系統的能力? | |
| 核心應用 | 該系統是否屬於核心應用領域,例如人類語言技術、電腦視覺、自動化和/或最佳化或機器人技術? | |
| 評估 | 是否有標準或方法可用於評估系統輸出或處理不可預見的緊急屬性? | |
關鍵 描述符的來源
純文字:
格魯克曼,P. 和艾倫,K. 2018。 了解快速數位化和相關轉型背景下的福祉。 英格薩。 https://ingsa.org/wp-content/uploads/2023/01/INGSA-Digital-Wellbeing-Sept18.pdf
粗體:
經合組織。 2022 年。 經合組織人工智慧系統分類框架。經合組織數位經濟論文,第 323 期,經合組織出版社,巴黎。 https://oecd.ai/en/classification
斜體文字:
新描述符(來自多個來源)
前進的道路
根據對本討論文件的回應,ISC 將成立一個專家工作小組,以進一步製定或修訂上述分析框架,利害關係人可以透過該框架全面審視平台或使用維度的任何重大發展。 該工作小組將在學科、地理和人口方面具有多樣性,其專業知識涵蓋從技術評估到公共政策、從人類發展到社會學以及未來和技術研究。
要參與此討論文件,請訪問 Council.science/publications/framework-digital-technologies
致謝
本文由 Sir Peter Gluckman、ISC 主席和國防部前首席科學家、現任紐西蘭奧克蘭大學高級研究員 Hema Sridhar。
我們特別感謝英國皇家學會前主席、劍橋大學生存風險研究中心共同創辦人馬丁‧里斯勳爵; Shivaji Sondhi 教授,牛津大學物理學教授; K Vijay Raghavan 教授,印度政府前首席科學顧問; 聯合國秘書長技術特使阿曼迪普辛格吉爾(Amandeep Singh Gill); Seán Óh Éigeartaigh 博士,劍橋大學生存風險研究中心執行董事; 英國皇家學會資深政策顧問 Amanda-June Brawner 與國際事務主任 Ian Wiggins; Jerome Duberry 博士、Marie-Laure Salles 博士,日內瓦研究生院院長; Chor Pharn Lee 先生,新加坡總理辦公室戰略未來中心; Barend Mons 和 Simon Hodson 博士,資料委員會 (CoDATA); Yuko Harayama 教授,日本; Rémi Quirion 教授,INGSA 主席; 克萊爾‧克雷格 (Claire Craig) 博士,牛津大學、政府科學辦公室前瞻主管; 以及聯合國秘書長科學顧問委員會和蒙特婁大學的 Yoshua Bengio 教授。 清單方法得到了普遍認可,並強調了 ISC 任何行動的及時性。
圖:iStock 上的 adamichi