你好，歡迎您來到福建信息主管(CIO)網(wǎng)! 設(shè)為首頁(yè)|加入收藏|會(huì)員中心
各位數(shù)字化轉(zhuǎn)型的舵手，不論你是 CIO、CDO 還是企業(yè)內(nèi)部的 AI 負(fù)責(zé)人，過去一年里，你是否也經(jīng)歷過這樣的場(chǎng)景：高調(diào)啟動(dòng)了某個(gè) AI 項(xiàng)目，結(jié)果雷聲大雨點(diǎn)小，業(yè)務(wù)部門根本不買賬，甚至最后悄無聲息地爛尾了？
如果你的答案是肯定的，別灰心，你絕不是一個(gè)人。Gartner 的數(shù)據(jù)顯示，雖然大家都在瘋狂往 AI 里砸錢，但近一半的企業(yè)根本無法證明這些項(xiàng)目的商業(yè)價(jià)值。Regions Bank 的首席數(shù)據(jù)與分析官 Manav Misra 一針見血地指出，真正的挫敗感往往來源于“不切實(shí)際的期望”。?
實(shí)際上，問題往往不在于技術(shù)本身，而在于技術(shù)之外的“人”和“流程”。組織架構(gòu)、運(yùn)營(yíng)模式的缺陷，隨時(shí)可能讓你的 AI 戰(zhàn)車偏離賽道。?
為了避免下一個(gè) AI 項(xiàng)目重蹈覆轍，福建CIO網(wǎng)整理了一份“避坑指南”，咱們一起來看看那些容易忽視的非技術(shù)性失誤。
如果你還指望靠著自己的 IT 團(tuán)隊(duì)或者某個(gè)“卓越中心 (CoE)”單打獨(dú)斗，就能把 AI 推向全公司，那幾乎注定要失敗。FTI Consulting 的 Sumeet Gupta 強(qiáng)調(diào)，CIO 往往習(xí)慣從技術(shù)平臺(tái)的視角去推動(dòng)項(xiàng)目，但很多時(shí)候問題的核心根本不在這兒。?
記住，AI 項(xiàng)目本質(zhì)上是“利用技術(shù)解決業(yè)務(wù)問題”的業(yè)務(wù)項(xiàng)目。?
尋找“業(yè)務(wù)共同發(fā)起人”：你需要找到那些對(duì)盈虧負(fù)責(zé)、清楚地知道“成功長(zhǎng)什么樣”的業(yè)務(wù)領(lǐng)導(dǎo)者，和他們一起共同領(lǐng)導(dǎo)項(xiàng)目。?
讓業(yè)務(wù)發(fā)現(xiàn)機(jī)會(huì)，讓 IT 篩選方案：正如 Jack Henry 的首席數(shù)據(jù)官 Keith Fulton 所說，機(jī)會(huì)應(yīng)該由業(yè)務(wù)領(lǐng)導(dǎo)者首先發(fā)現(xiàn)，然后由 AI 專家來評(píng)估哪些想法最靠譜，并將其列入候選名單。不要過度依賴外部顧問，你需要的是能在內(nèi)部給你潑冷水的務(wù)實(shí)伙伴。?
讓產(chǎn)品經(jīng)理懂業(yè)務(wù)：Misra 的做法很值得借鑒：讓懂業(yè)務(wù)的產(chǎn)品經(jīng)理加入團(tuán)隊(duì)，直接對(duì)接業(yè)務(wù)負(fù)責(zé)人，確保項(xiàng)目不偏離真實(shí)的業(yè)務(wù)需求。?
項(xiàng)目的成功指標(biāo)誰來定？千萬別由 IT 部門代勞。
指標(biāo)應(yīng)由業(yè)務(wù)方制定：Gupta 明確表示，決定項(xiàng)目成敗的指標(biāo)，應(yīng)該由那些對(duì)業(yè)務(wù)盈虧負(fù)責(zé)的人來拍板。CIO 可以提供如何衡量的建議，但核心的業(yè)務(wù)指標(biāo)必須由業(yè)務(wù)負(fù)責(zé)人決定。?
定期審查：這些指標(biāo)不是定好就放一邊了。業(yè)務(wù)和技術(shù)團(tuán)隊(duì)必須保持緊密溝通，每個(gè)季度都要進(jìn)行復(fù)盤和審查。?
這是最常犯的錯(cuò)誤之一：技術(shù)團(tuán)隊(duì)閉門造車，開發(fā)出各種酷炫的功能，結(jié)果業(yè)務(wù)用戶根本不用。如果沒人用，你的代碼寫得再優(yōu)雅也是白搭。?
應(yīng)對(duì)用戶的恐懼和懷疑：員工面對(duì) AI，難免會(huì)有“飯碗被搶”的焦慮。Fulton 指出，讓人們將 AI 視為助手而不是替代品，這是變革管理中的一大挑戰(zhàn)。?
讓用戶參與每個(gè)環(huán)節(jié)：Gupta 強(qiáng)調(diào)，從項(xiàng)目啟動(dòng)之初，到開發(fā)過程的每一步，都需要用戶的深度參與。在轉(zhuǎn)型過程中，特別是涉及技術(shù)時(shí)，如果用戶沒有參與，項(xiàng)目絕不會(huì)成功。?
培養(yǎng)早期“擁護(hù)者”：如果推廣受阻，不妨效仿 Misra 的策略：尋找早期的支持者，為他們提供資源，讓他們?nèi)ビ绊懮磉叺耐隆Ｍ瑫r(shí)，采用分階段的推出方式，持續(xù)追蹤使用率。?
建立專門的指導(dǎo)團(tuán)隊(duì)：Fulton 分享了他們?cè)?Jack Henry 的經(jīng)驗(yàn)：專門設(shè)立了一個(gè)十人的指導(dǎo)團(tuán)隊(duì)，手把手教員工如何使用工具，通過正確的引導(dǎo)來贏得他們的支持。?
不要僅僅把 AI 看作是自動(dòng)化的工具，在動(dòng)手之前，先全面審視你的工作流。
工作流重設(shè)與變革管理必須同步：Gupta 分享過一個(gè)案例，一家公司設(shè)計(jì)了非常完善的 AI 工作流，卻因?yàn)闆]有做好與之相匹配的變革管理，導(dǎo)致幾個(gè)月都沒人真正使用。?
運(yùn)用“第一性原理”：深入了解你想解決的問題、期望的結(jié)果和輸入條件，然后重新構(gòu)思在引入 AI 后，這個(gè)流程該如何運(yùn)作。缺乏圍繞 AI 進(jìn)行的重新發(fā)明或構(gòu)想，是首要問題。?
化繁為簡(jiǎn)：Fulton 則建議，對(duì)于復(fù)雜的企業(yè)流程，不要指望一蹴而就?？梢韵葟暮?jiǎn)單的任務(wù)自動(dòng)化開始，因?yàn)槟壳皝砜?，Agent（智能體）處理簡(jiǎn)單流程的效果要比處理復(fù)雜流程好得多。與其畫復(fù)雜的流程圖，不如直接告訴 LLM 具體的步驟，讓它自己去摸索工作流。?
在啟動(dòng)項(xiàng)目前，我們經(jīng)常會(huì)陷入“數(shù)據(jù)準(zhǔn)備焦慮”，覺得數(shù)據(jù)不夠干凈、不夠完美，項(xiàng)目就沒法推進(jìn)。?
打破完美主義：Gupta 指出，并非所有項(xiàng)目都需要絕對(duì)完美、無暇的數(shù)據(jù)。很多時(shí)候，公司糾結(jié)的數(shù)據(jù)問題，其實(shí)和他們要做的實(shí)際用例根本沒關(guān)系。?
對(duì)癥下藥：Fulton 解釋說，數(shù)據(jù)對(duì)于機(jī)器學(xué)習(xí)來說是關(guān)鍵，但對(duì)于大多數(shù)大語言模型（LLM）而言卻并非如此——除非你需要進(jìn)行復(fù)雜的預(yù)測(cè)、極度個(gè)性化的客戶交互或是精準(zhǔn)的線索評(píng)分。?
聚焦核心數(shù)據(jù)：如果項(xiàng)目確實(shí)需要高質(zhì)量數(shù)據(jù)，Misra 建議：只鎖定那些必須用到的關(guān)鍵數(shù)據(jù)，集中精力去清理它們。借助現(xiàn)代的 AI 輔助數(shù)據(jù)清理和集成工具，這個(gè)問題其實(shí)沒你想的那么難解決。?
當(dāng)然，這并不意味著你可以忽視數(shù)據(jù)質(zhì)量、元數(shù)據(jù)管理和數(shù)據(jù)溯源等合規(guī)性要求，Gartner 分析師 Avivah Litan 提醒，這些問題同樣需要引起重視。?
Talasaz 提醒我們，治理非常關(guān)鍵，尤其是在編排和可觀測(cè)性方面。你需要對(duì) Agent 的行為保持可見性，因?yàn)樗鼈冇袝r(shí)候會(huì)做出偏離預(yù)期的舉動(dòng)。?
警惕“智力”與“經(jīng)驗(yàn)”的混淆：Fulton 指出，很多重大失敗的根源在于公司對(duì) LLM 期望過高，在沒有驗(yàn)證的情況下盲目信任。LLM 也會(huì)犯低級(jí)錯(cuò)誤，缺乏特定領(lǐng)域的深層背景。?
保留“人工審核 (Human-in-the-loop)”：無論 AI 給出的建議多漂亮，在投入生產(chǎn)環(huán)境前，人工審查依然是必不可少的環(huán)節(jié)。?
拆解復(fù)雜任務(wù)：Fulton 發(fā)現(xiàn)，當(dāng) LLM 處理的信息量超過其上下文窗口的限制時(shí)，就容易“胡言亂語”（即幻覺）。因此，在實(shí)踐中，與其讓 AI 運(yùn)行一個(gè)漫長(zhǎng)的自主流程，不如將其拆解成一個(gè)個(gè)簡(jiǎn)短、邊界清晰的任務(wù)，這樣得到的結(jié)果反而更可靠。?
嚴(yán)控“影子 AI”：員工私自使用不受監(jiān)管的 AI 工具會(huì)帶來巨大的安全隱患?？梢酝ㄟ^強(qiáng)制培訓(xùn)、嚴(yán)格的審批流程以及提供豐富的官方 AI 工具來降低這種風(fēng)險(xiǎn)()。?
為什么很多 PoC 項(xiàng)目最終無疾而終？
目標(biāo)錯(cuò)位：Talasaz 認(rèn)為，當(dāng)負(fù)責(zé)執(zhí)行試點(diǎn)的人和期望看到結(jié)果的人目標(biāo)不一致時(shí)，項(xiàng)目很容易失敗。必須在最開始就明確試點(diǎn)的目的是什么：是為了探索實(shí)驗(yàn)，還是要獲得確定性的業(yè)務(wù)成果？?
算好經(jīng)濟(jì)賬：Gupta 提到一個(gè)案例，有公司在沒有進(jìn)行財(cái)務(wù)評(píng)估的情況下就貿(mào)然啟動(dòng)了項(xiàng)目。結(jié)果在詳細(xì)分析后發(fā)現(xiàn)，AI 帶來的收益根本覆蓋不了前期的投入和后續(xù)的運(yùn)營(yíng)成本。在砸錢之前，務(wù)必進(jìn)行嚴(yán)謹(jǐn)?shù)呢?cái)務(wù)分析。?
容錯(cuò)率的考量：金融等行業(yè)對(duì)準(zhǔn)確率的要求極高，99% 的成功率在某些業(yè)務(wù)場(chǎng)景下可能毫無價(jià)值，因?yàn)槟?1% 的錯(cuò)誤足以毀掉所有的信任。?
規(guī)?；y題：工程師搭建的 PoC 在小范圍內(nèi)可能很完美，但放大到整個(gè)企業(yè)時(shí)，可能會(huì)面臨人才、基礎(chǔ)設(shè)施或成本的巨大瓶頸。?
團(tuán)隊(duì)連貫性：如果 PoC 結(jié)束后，原班人馬撤離，新團(tuán)隊(duì)接手，很容易造成知識(shí)斷層和項(xiàng)目延期。Talasaz 建議最好由同一個(gè)團(tuán)隊(duì)將項(xiàng)目從 PoC 推進(jìn)到生產(chǎn)階段。?
設(shè)定硬性指標(biāo)：Gupta 建議設(shè)定明確的里程碑，例如通過用戶模擬測(cè)試，或者必須達(dá)到某個(gè)準(zhǔn)確率閾值，才能進(jìn)入下一階段。?
恭喜你，項(xiàng)目終于上線了！但別高興得太早。
警惕運(yùn)營(yíng)風(fēng)險(xiǎn)：關(guān)注模型漂移等持續(xù)性問題，同時(shí)也要防范更深層的風(fēng)險(xiǎn)，比如被單一供應(yīng)商鎖定（API、數(shù)據(jù)湖等）。?
管理技術(shù)債務(wù)：Gartner 預(yù)測(cè)，未來幾年很多企業(yè)將面臨 AI 升級(jí)延遲和維護(hù)成本飆升的問題。這就要求我們?cè)谠O(shè)計(jì)階段就考慮長(zhǎng)遠(yuǎn)，采用開放標(biāo)準(zhǔn)、模塊化架構(gòu)，并嚴(yán)格執(zhí)行 IT 生命周期管理規(guī)范，如維護(hù) AI 注冊(cè)表、實(shí)施漂移監(jiān)測(cè)等。?
正如 Talasaz 所說，AI 項(xiàng)目要想成功，細(xì)節(jié)決定成敗()。你必須深入到業(yè)務(wù)的最細(xì)微處，從上至下理解業(yè)務(wù)成果，從下至上夯實(shí)技術(shù)基礎(chǔ)。?
最后，借用 Fulton 的一句話與大家共勉：“有時(shí)候不是永遠(yuǎn)不行，只是還沒到時(shí)候?！?如果某個(gè)工具或方案目前行不通，別急著全盤否定，也許只是時(shí)機(jī)未到，不妨等幾個(gè)月后再試試，也許就會(huì)迎來爆發(fā)式的增長(zhǎng)。?
Tips：技術(shù)名詞速覽
CoE (Center of Excellence)：卓越中心。在企業(yè)中，通常指由跨部門專家組成的團(tuán)隊(duì)，負(fù)責(zé)在特定領(lǐng)域（如 AI）推廣最佳實(shí)踐、提供指導(dǎo)和支持。
LLM (Large Language Model)：大語言模型。一種基于深度學(xué)習(xí)的人工智能模型，能夠理解和生成人類語言，如大家熟知的 ChatGPT 背后的模型。
Agent：智能體。能夠感知環(huán)境并自主采取行動(dòng)以實(shí)現(xiàn)特定目標(biāo)的 AI 系統(tǒng)。
PoC (Proof of Concept)：概念驗(yàn)證。在項(xiàng)目全面展開前，為了驗(yàn)證某個(gè)概念或理論的可行性而進(jìn)行的小規(guī)模實(shí)驗(yàn)。
正文：企業(yè)AI項(xiàng)目為何停滯——以及CIO們能做些什么
在過去一年啟動(dòng)了AI（人工智能）項(xiàng)目但未達(dá)到預(yù)期，甚至完全失敗的CIO（首席信息官）并不孤單。根據(jù)Gartner（高德納）的研究，對(duì)AI項(xiàng)目的投資激增，但近一半的企業(yè)難以證明其商業(yè)價(jià)值。Regions Bank的首席數(shù)據(jù)與分析官M(fèi)anav Misra（馬納夫·米斯拉）表示：“人們帶著不切實(shí)際的期望投入其中，這就是最大失望的來源?！彼驮S多其他從業(yè)者表示，技術(shù)不是問題，問題在于圍繞技術(shù)的一切。組織、運(yùn)營(yíng)和結(jié)構(gòu)上的失敗在項(xiàng)目推進(jìn)的每一步都導(dǎo)致項(xiàng)目脫軌。
圖源：Kylbabka / Shutterstock
雖然CIO的團(tuán)隊(duì)可能在模型選擇、平臺(tái)架構(gòu)和數(shù)據(jù)管道方面目光敏銳，但在許多情況下，選擇了錯(cuò)誤的項(xiàng)目，業(yè)務(wù)成果和成功指標(biāo)的定義不夠細(xì)致，與業(yè)務(wù)領(lǐng)導(dǎo)者的協(xié)作水平不足，或者從一開始就沒有讓用戶參與進(jìn)來。
AI項(xiàng)目也可能受到用戶的恐懼、不確定性和懷疑的困擾。銀行業(yè)技術(shù)提供商Jack Henry的首席數(shù)據(jù)官Keith Fulton（基思·富爾頓）表示：“我們?cè)蚺嘤?xùn)海外替代員工而獲得報(bào)酬，現(xiàn)在我們又因培訓(xùn)AI來取代我們而獲得報(bào)酬。” 至少就目前而言，現(xiàn)實(shí)情況是，雖然LLM（大語言模型）可以提高生產(chǎn)力，但它們需要用戶對(duì)輸出進(jìn)行審查和驗(yàn)證。他說，AI就像需要指導(dǎo)的聰明實(shí)習(xí)生。
Colonial Pipeline前首席技術(shù)與數(shù)據(jù)官Afshean Talasaz（阿夫謝安·塔拉薩茲）補(bǔ)充道：“過去的方法手冊(cè)已經(jīng)不再有效。你需要深入研究這些事情的細(xì)節(jié)，弄清楚你想要做什么，并明確你的期望?！?/span>
不要讓這些非受迫性失誤成為你下一個(gè)AI項(xiàng)目的致命弱點(diǎn)。
一、停止獨(dú)自領(lǐng)導(dǎo)AI項(xiàng)目，開始共同領(lǐng)導(dǎo)
FTI Consulting的高級(jí)董事總經(jīng)理兼人工智能與數(shù)字化轉(zhuǎn)型業(yè)務(wù)負(fù)責(zé)人Sumeet Gupta（蘇米特·古普塔）表示，如果你要求CIO獨(dú)自運(yùn)營(yíng)一個(gè)AI CoE（AI卓越中心），這幾乎從來都不是成功的秘訣。他說：“CIO最終可能經(jīng)常從平臺(tái)導(dǎo)向視角推動(dòng)項(xiàng)目，而大多數(shù)問題并不在于此。”因?yàn)檫@些不是技術(shù)項(xiàng)目，而是碰巧使用AI來實(shí)現(xiàn)期望業(yè)務(wù)成果的業(yè)務(wù)項(xiàng)目?！?span style="font-family: 微軟雅黑, "Microsoft YaHei"; font-size: 16px; color: rgb(61, 167, 66); font-weight: bold;">你需要與所在企業(yè)中合適的業(yè)務(wù)負(fù)責(zé)人共同領(lǐng)導(dǎo)這個(gè)項(xiàng)目，因?yàn)橹挥羞@樣才能解決基本的業(yè)務(wù)問題。”
Fulton（富爾頓）對(duì)此表示贊同，他說AI項(xiàng)目需要由業(yè)務(wù)部門來領(lǐng)導(dǎo)?！皹I(yè)務(wù)領(lǐng)導(dǎo)者首先發(fā)現(xiàn)機(jī)會(huì)，然后AI專家可以幫助他們對(duì)這些可能性進(jìn)行分類，以確定哪些應(yīng)該列入候選名單，”他說，并補(bǔ)充說在這一步不要依賴顧問，“你需要一個(gè)內(nèi)部合作伙伴，他會(huì)讓你保持謹(jǐn)慎?！?/span>
Fulton（富爾頓）很早就吸取了這個(gè)教訓(xùn)?！拔ㄒ皇〉膶?shí)驗(yàn)是一年前的一次咨詢合作，該合作變成了在財(cái)務(wù)部門使用AI進(jìn)行的一次盲目探索，當(dāng)時(shí)基于這項(xiàng)技術(shù)未能找到任何有用的案例?！?/span>
另一方面，Misra（米斯拉）的團(tuán)隊(duì)中有來自業(yè)務(wù)部門的產(chǎn)品經(jīng)理，所以他們對(duì)業(yè)務(wù)需求有清晰的了解。他們與業(yè)務(wù)領(lǐng)導(dǎo)者會(huì)面，幫助他們確定可行的機(jī)會(huì)?！澳阈枰晃辉敢鉃閮r(jià)值做出承諾并投資進(jìn)行正確構(gòu)建的執(zhí)行發(fā)起人，并且業(yè)務(wù)負(fù)責(zé)人必須清楚成功的真正樣子，”他說。
二、業(yè)務(wù)所有者應(yīng)設(shè)定成功指標(biāo)
CIO應(yīng)在前期與業(yè)務(wù)領(lǐng)導(dǎo)者合作，確定并就哪些指標(biāo)決定在解決期望業(yè)務(wù)成果方面的成功達(dá)成一致。業(yè)務(wù)和技術(shù)團(tuán)隊(duì)都應(yīng)每季度審查這些指標(biāo)。
Gupta（古普塔）表示：“對(duì)該業(yè)務(wù)負(fù)責(zé)P&L（盈虧）的人應(yīng)該負(fù)責(zé)對(duì)此進(jìn)行衡量，并確定指標(biāo)應(yīng)該是什么。CIO可以就如何衡量發(fā)表意見，但將納入盈虧的業(yè)務(wù)指標(biāo)應(yīng)該始終由負(fù)責(zé)盈虧的人來確定?！钡〉贸晒Γ阈枰牟粌H僅是管理層的認(rèn)可。
三、用戶需要參與其中，否則他們不會(huì)支持
如果員工不使用這項(xiàng)技術(shù)，任何IT項(xiàng)目的最佳計(jì)劃都將毫無意義，這對(duì)于AI來說尤其如此。Gupta（古普塔）回憶起一家公司的一項(xiàng)舉措，他們投資圍繞一個(gè)AI模型構(gòu)建了一個(gè)包裝器，但最終沒有帶來任何獨(dú)特的商業(yè)價(jià)值?！癈oE（卓越中心）的AI團(tuán)隊(duì)認(rèn)為開發(fā)這個(gè)會(huì)很有趣，但沒有讓更廣泛的用戶群體參與到這些討論中，”他說。
Fulton（富爾頓）補(bǔ)充說，人們對(duì)AI存在恐懼和懷疑。他說：“讓人們將其視為助手而非替代品，在組織轉(zhuǎn)型管理方面這是一個(gè)巨大的挑戰(zhàn)。但是，例如，雖然AI可以提出建議，但在向客戶交付任何東西之前，人工審查是一個(gè)必不可少的驗(yàn)證步驟。”
這就是為什么用戶需要從一開始以及在過程的每一步都參與進(jìn)來。Gupta（古普塔）說：“我無法告訴你我經(jīng)歷過多少這樣的案例，技術(shù)團(tuán)隊(duì)構(gòu)建了一個(gè)能做所有這些事情的AI產(chǎn)品，但業(yè)務(wù)用戶卻沒有使用它，因?yàn)樗麄儧]有參與到這個(gè)過程本身。在轉(zhuǎn)型中，尤其是涉及技術(shù)時(shí)，這種情況永遠(yuǎn)不會(huì)成功?！?/span>
Misra（米斯拉）回憶起一個(gè)業(yè)務(wù)部門，他們最初沒有獲得所需的認(rèn)可水平，這減緩了部署速度?！坝腥藭?huì)說他們不確定它是否會(huì)起作用，這就會(huì)引發(fā)一個(gè)懷疑的循環(huán)，”他說。他建議確定并支持早期的擁護(hù)者，為他們的同事創(chuàng)建研討會(huì)，并分階段推出，同時(shí)每季度衡量使用情況和采用率。
從最早階段就與用戶接觸還有另一個(gè)好處，即轉(zhuǎn)型不會(huì)讓人感覺那么大，因?yàn)樗麄兛吹剿侵鸩桨l(fā)生的。在Jack Henry公司，F(xiàn)ulton（富爾頓）非常重視指導(dǎo)。他說：“我們有一個(gè)十人的團(tuán)隊(duì)來幫助人們使用這些工具。如果我們以正確的方式引導(dǎo)他們，我們可以贏得他們的支持。但如果不適合，我們不會(huì)強(qiáng)迫他們?！?/span>
Gupta（古普塔）表示，最終，你需要轉(zhuǎn)變用戶的態(tài)度，并讓他們作為過程的一部分承擔(dān)責(zé)任。這意味著讓他們參與討論AI可能如何影響工作流程以及應(yīng)如何解決任何必要的變更。
四、全面考慮工作流程和變更管理的影響
在使用AI進(jìn)行自動(dòng)化之前，CIO和利益相關(guān)者應(yīng)該審查當(dāng)前和計(jì)劃中的工作流程，以及它們將如何影響生產(chǎn)力和員工的工作方式。Gupta（古普塔）說：“工作流程重新設(shè)計(jì)和變更管理是相輔相成的。例如，一家公司的一個(gè)AI產(chǎn)品很長(zhǎng)時(shí)間都沒有被使用，因?yàn)樗麄儧]有圍繞它進(jìn)行任何變更管理?！?/span>
該公司設(shè)計(jì)了一個(gè)相當(dāng)復(fù)雜的AI智能體工作流程，以消除大量的手工勞動(dòng)，并提高其業(yè)務(wù)運(yùn)營(yíng)關(guān)鍵部分的流程準(zhǔn)確性。但是，為了使工作流程得到正確采用，他們必須解決一些與勞動(dòng)力相關(guān)的運(yùn)營(yíng)模式和變更管理問題。他補(bǔ)充說：“這沒有及時(shí)完成。所以，雖然AI工作流程本身構(gòu)思良好且開發(fā)得當(dāng)，但在幾個(gè)月的時(shí)間里都沒有得到有效利用。”
他將他所謂的“第一性原理”應(yīng)用于每個(gè)項(xiàng)目：了解你試圖通過工作流程解決的問題、期望的結(jié)果以及你的輸入是什么，然后重新思考在未來使用人工智能時(shí)它可能如何運(yùn)作。他說：“你必須根據(jù)這些限制進(jìn)行設(shè)計(jì)。圍繞AI缺乏重新發(fā)明或重新想象是首要問題?！边@需要與業(yè)務(wù)領(lǐng)導(dǎo)者和用戶都進(jìn)行接觸。
Jack Henry公司的Fulton（富爾頓）有不同看法，他認(rèn)為一開始不要重新設(shè)計(jì)所有東西，而是從任務(wù)自動(dòng)化開始并在此基礎(chǔ)上構(gòu)建?！皹I(yè)務(wù)流程再造已經(jīng)存在20年了，但從未充分發(fā)揮其潛力，”他說，因?yàn)檫@很昂貴，而且大公司即使沒有數(shù)千個(gè)，也有數(shù)百個(gè)業(yè)務(wù)流程。他補(bǔ)充說，如今，智能體AI在更簡(jiǎn)單的業(yè)務(wù)流程上比在更復(fù)雜的業(yè)務(wù)流程上效果更好。
也就是說，智能體開始理解業(yè)務(wù)流程并對(duì)其進(jìn)行優(yōu)化?！芭c其使用機(jī)器人RPA（流程自動(dòng)化）工具構(gòu)建工作流程圖，你只需告訴LLM步驟應(yīng)該是什么，它就會(huì)為其確定自己的工作流程，”Fulton（富爾頓）說。然而，能夠在無需大量人工配置的情況下自主優(yōu)化復(fù)雜的多步驟企業(yè)工作流程的智能體仍處于早期階段，尚未在大規(guī)模應(yīng)用中得到驗(yàn)證。
然而，如果沒有對(duì)數(shù)據(jù)要求的正確理解，即使是最善意的工作流程設(shè)計(jì)和組織轉(zhuǎn)型管理計(jì)劃也可能行不通。
五、數(shù)據(jù)準(zhǔn)備焦慮使項(xiàng)目陷入癱瘓
關(guān)于在啟動(dòng)AI項(xiàng)目之前要準(zhǔn)備好所有數(shù)據(jù)的傳統(tǒng)觀念可能會(huì)在項(xiàng)目開始之前就阻礙項(xiàng)目進(jìn)展?！霸S多公司認(rèn)為如果沒有數(shù)據(jù)，項(xiàng)目就行不通，”Gupta（古普塔）說。但并非所有項(xiàng)目都需要原始純凈的數(shù)據(jù)。公司常常會(huì)在與實(shí)際用例不相關(guān)的數(shù)據(jù)問題上栽跟頭。
“對(duì)于機(jī)器學(xué)習(xí)模型來說，數(shù)據(jù)是一個(gè)大問題，但對(duì)于大多數(shù)大語言模型來說并非如此，”Fulton（富爾頓）說，除非項(xiàng)目專注于復(fù)雜的預(yù)測(cè)、客戶級(jí)別的個(gè)性化或銷售線索評(píng)分等方面。但如果在這些情況下需要數(shù)據(jù)，Misra（米斯拉）說要確定項(xiàng)目所需的特定數(shù)據(jù)，并只專注于這些數(shù)據(jù)，這樣由于基于AI的數(shù)據(jù)清理、集成和準(zhǔn)備工具，你所面臨的數(shù)據(jù)問題就會(huì)更容易解決。
然而，Gartner杰出副總裁分析師Avivah Litan（阿維瓦·利坦）表示，有很多合理的數(shù)據(jù)問題確實(shí)應(yīng)該讓人停下來思考。這些問題包括數(shù)據(jù)質(zhì)量、元數(shù)據(jù)和數(shù)據(jù)溯源方面的差距，這些差距會(huì)妨礙合規(guī)性、可解釋性和監(jiān)管報(bào)告，以及孤立的數(shù)據(jù)集和不成熟的元數(shù)據(jù)管理，這些都會(huì)阻礙監(jiān)管準(zhǔn)備工作。
六、AI可能很聰明，但并不總是可靠
Talasaz（塔拉薩茲）說，在編排和可觀測(cè)性方面，治理是一件大事。他說：“智能體可以做它們?cè)静淮蛩阕龅氖虑?，你需要?duì)此有可見性。”
Fulton（富爾頓）補(bǔ)充說，重大失敗的根本原因是公司對(duì)LLM期望過高，并且在沒有驗(yàn)證步驟的情況下就信任它們。他說，LLM會(huì)遇到問題、犯愚蠢的錯(cuò)誤，并且缺乏特定領(lǐng)域的背景信息?！霸谠u(píng)估輸出時(shí)，不要將智能與經(jīng)驗(yàn)和背景混淆，所以在投入生產(chǎn)使用之前，每個(gè)AI輸出都需要人工審查，”他說。
對(duì)于更復(fù)雜的任務(wù)，當(dāng)LLM處理需要比可用的上下文窗口所能處理的更多背景信息的問題時(shí)，它也可能會(huì)迷失方向。在那個(gè)時(shí)候，所有內(nèi)容都會(huì)被壓縮以適應(yīng)，LLM可能會(huì)失去節(jié)奏并開始產(chǎn)生幻覺?！癓LM可以做很多這樣的事情，但它們?cè)酱?，就越容易失去頭緒，”Fulton（富爾頓）說。他發(fā)現(xiàn)，在實(shí)踐中，較短、更有邊界的任務(wù)比較長(zhǎng)時(shí)間運(yùn)行的自主流程產(chǎn)生更可靠的結(jié)果，他也相應(yīng)地構(gòu)建了Jack Henry公司的AI使用方式。
失敗也可能來自意外出現(xiàn)的未經(jīng)批準(zhǔn)的項(xiàng)目。Talasaz（塔拉薩茲）說：“對(duì)于影子AI，人們擔(dān)心的是有人以不受監(jiān)管的方式為關(guān)鍵工作流程構(gòu)建東西。然后當(dāng)它出錯(cuò)或損壞時(shí)，就沒有可觀測(cè)性，給組織帶來可持續(xù)性挑戰(zhàn)和風(fēng)險(xiǎn)?！?/span>
雖然Gartner的一項(xiàng)調(diào)查顯示，69%的組織懷疑或有證據(jù)表明員工使用了被禁止的AI工具，但Jack Henry公司已經(jīng)采取措施，通過強(qiáng)制性培訓(xùn)和審批流程來維持嚴(yán)格的數(shù)據(jù)治理，以盡量降低這種風(fēng)險(xiǎn)。公司政策嚴(yán)格禁止未經(jīng)批準(zhǔn)的工具，如公共聊天機(jī)器人，并且公司提供了100多個(gè)基于AI的應(yīng)用程序，希望用戶不會(huì)覺得有必要去使用其他工具。
七、太多PoC（概念驗(yàn)證）過早夭折
Talasaz（塔拉薩茲）說，當(dāng)運(yùn)行試點(diǎn)項(xiàng)目的人員與期望從項(xiàng)目中得到不同結(jié)果的人員之間存在脫節(jié)時(shí)，試點(diǎn)項(xiàng)目可能會(huì)失敗?！?span style="font-family: 微軟雅黑, "Microsoft YaHei"; font-size: 16px; color: rgb(61, 167, 66); font-weight: bold;">要清楚試點(diǎn)項(xiàng)目的預(yù)期目的是什么，無論是更多地用于實(shí)驗(yàn)，還是在獲得預(yù)期結(jié)果方面有高度確定性，” 他說。
一些試點(diǎn)項(xiàng)目在沒有完全理解其商業(yè)利益的情況下就推進(jìn)了。Gupta（古普塔）回憶起一家公司，該公司在沒有對(duì)項(xiàng)目的商業(yè)價(jià)值進(jìn)行適當(dāng)經(jīng)濟(jì)分析的情況下就啟動(dòng)了一項(xiàng)AI計(jì)劃。他說，這是一個(gè)重要的立項(xiàng)決策節(jié)點(diǎn)，應(yīng)該在構(gòu)思AI用例之后、企業(yè)投入資金之前進(jìn)行。“當(dāng)我們介入并進(jìn)行財(cái)務(wù)分析時(shí)，我們發(fā)現(xiàn)AI計(jì)劃的一次性和持續(xù)運(yùn)營(yíng)成本將超過預(yù)計(jì)節(jié)省的中位數(shù)，”他說。
其他項(xiàng)目則達(dá)不到要求。試點(diǎn)項(xiàng)目可能90%的時(shí)間都能正常運(yùn)行，而要達(dá)到99%的成功率可能需要六個(gè)月的時(shí)間來調(diào)整和清理數(shù)據(jù)。但像Jack Henry這樣的金融服務(wù)企業(yè)要求100%的正確性，F(xiàn)ulton（富爾頓）說?！耙粋€(gè)99%的時(shí)間都能正常運(yùn)行的業(yè)務(wù)流程自動(dòng)化工具是沒有價(jià)值的，”他說，因?yàn)閮H僅一個(gè)錯(cuò)誤就可能失去業(yè)務(wù)領(lǐng)導(dǎo)者的信心，讓試點(diǎn)中途夭折。
人們經(jīng)常發(fā)現(xiàn)，工程師構(gòu)建的PoC在規(guī)?；瘯r(shí)不起作用，或者規(guī)模化成本過高?！澳憧梢詷?gòu)建一個(gè)PoC，但可能沒有合適的設(shè)計(jì)和工程人才或基礎(chǔ)設(shè)施來對(duì)其進(jìn)行規(guī)?；盩alasaz（塔拉薩茲）說。
另一個(gè)潛在的挫折是時(shí)間問題。一旦試點(diǎn)項(xiàng)目結(jié)束，原來的團(tuán)隊(duì)通常會(huì)回到他們的日常工作中，把他們的知識(shí)也帶走，而新的團(tuán)隊(duì)會(huì)接手，這可能會(huì)減緩項(xiàng)目的進(jìn)度。“我希望由同一個(gè)團(tuán)隊(duì)將項(xiàng)目從PoC推進(jìn)到生產(chǎn)階段，”Talasaz（塔拉薩茲）補(bǔ)充說。Gupta（古普塔）建議設(shè)定明確的“存活證明”里程碑、對(duì)智能體工作流程進(jìn)行用戶模擬，以及PoC在進(jìn)入下一階段之前必須達(dá)到的準(zhǔn)確性閾值?！叭绻麤]有合適的人員參與和正確的里程碑，這就是這些試點(diǎn)項(xiàng)目被擱置的原因，”他說。
八、實(shí)現(xiàn)了生產(chǎn)，但運(yùn)營(yíng)可持續(xù)性不確定
你的試點(diǎn)項(xiàng)目現(xiàn)在已經(jīng)投入生產(chǎn)，并且目前運(yùn)行良好。那么如何保持動(dòng)力呢？“如果大多數(shù)團(tuán)隊(duì)在將項(xiàng)目投入生產(chǎn)時(shí)遇到困難，他們就沒有充分考慮可持續(xù)性問題，但你必須考慮到這一點(diǎn)，”Talasaz（塔拉薩茲）說。
監(jiān)測(cè)諸如模型偏移等持續(xù)的運(yùn)營(yíng)問題很重要，但像廠商鎖定風(fēng)險(xiǎn)和不斷增加的技術(shù)債務(wù)等更基本的問題也很重要，這些問題可能會(huì)延遲未來的升級(jí)并增加升級(jí)成本。如果在設(shè)計(jì)和試點(diǎn)階段沒有考慮到這些問題，那么在進(jìn)入生產(chǎn)階段時(shí)這些問題可能已經(jīng)難以根除。
Gartner警告不要讓你的數(shù)據(jù)、模型或工作流程被鎖定在單一供應(yīng)商的API（應(yīng)用程序編程接口）、數(shù)據(jù)湖或平臺(tái)工具中。相反，應(yīng)遵循開放標(biāo)準(zhǔn)，并在人工智能堆棧設(shè)計(jì)中使用開放API和模塊化架構(gòu)。至于技術(shù)債務(wù)，Gartner預(yù)測(cè)，在未來四年內(nèi)，50%的企業(yè)將面臨AI升級(jí)延遲以及由于未管理的生成式AI技術(shù)債務(wù)而導(dǎo)致的維護(hù)成本上升的問題。它建議企業(yè)維護(hù)一個(gè)AI注冊(cè)表、強(qiáng)制執(zhí)行模型卡片、實(shí)施漂移監(jiān)測(cè)，并要求供應(yīng)商提供模型變更通知。換句話說，應(yīng)用與任何其他IT項(xiàng)目相同的IT生命周期管理規(guī)范。
九、細(xì)節(jié)至關(guān)重要
AI項(xiàng)目有很多需要弄清楚的地方，但Talasaz（塔拉薩茲）說，成功的關(guān)鍵在于細(xì)節(jié)工作，不僅是在數(shù)據(jù)、治理等技術(shù)方面，還在于業(yè)務(wù)中的實(shí)際運(yùn)作方式。他說：“深入了解工作的具體內(nèi)容。從期望的業(yè)務(wù)成果向下推進(jìn)，從技術(shù)基礎(chǔ)向上推進(jìn)。”
如果技術(shù)是問題的一部分，也不要放棄這個(gè)想法?？赡苤皇菚r(shí)機(jī)不對(duì)。Fulton（富爾頓）說：“去年我們?yōu)殚_發(fā)人員嘗試了幾種不同的代碼輔助工具，它們無法在像我們這樣大的系統(tǒng)上運(yùn)行。”但八個(gè)月后，團(tuán)隊(duì)再次嘗試了相同的工具，現(xiàn)在采用率呈爆發(fā)式增長(zhǎng)?！?span style="font-family: 微軟雅黑, "Microsoft YaHei"; font-size: 16px; color: rgb(61, 167, 66); font-weight: bold;">有時(shí)候不是永遠(yuǎn)不行，只是還沒到時(shí)候，”他說。
