做AI眼鏡，為什么一定要有定制化大模型 | 對話雷鳥創始人李宏偉

克雷西 發自 凹非寺
量子位 | 公眾號 QbitAI

AI眼鏡，究竟為什么這么熱？

自2023年10月Meta旗下的Ray-Ban Meta智能眼鏡發布，標志著智能眼鏡終端不再只是極客的玩具，而是可能成為繼智能手機之后，人類與數字世界交互的下一個核心入口。

截止目前，國內已有十余家廠商正式發布了AI眼鏡產品，還有更多的產品正等待亮相，“百鏡大戰”的序幕已經拉開。

這場大戰之中，參賽選手屬性各不相同，既有互聯網廠商，也有做顯示出身……不同類型的選手都是以一種怎樣的姿態加入的這場戰斗？

為了解開這些疑問，量子位與不同屬性的AI眼鏡從業者進行了對話交談。

今天的文章是這一系列交流中的第三期，我們對話了雷鳥創新創始人兼CEO李宏偉先生。

在AI眼鏡的多項關鍵技術當中，光波導顯示是雷鳥創新的看家本領。

同時，雷鳥還與阿里通義團隊合作，成為了國內首家使用定制大模型的AI眼鏡廠商。

雷鳥如何發揮在顯示技術上的巨大優勢？選擇定制大模型路線又是基于什么樣的考量？

且看李宏偉先生的回答。

核心要點

• AI眼鏡要具備實時響應能力，必須要有定制化的基座模型；
• 具備全彩顯示能力的AI眼鏡，才是AI最好的落地載體；
• 無論是用戶畫像還是生態破局點……AI眼鏡的許多問題，本質上都和Killer APP相關；
• AI眼鏡發展的最大限制因素，在于技術和生態的互動。

以下為量子位與李宏偉對話實錄，部分內容有刪改。

AI眼鏡，必須有定制化基座模型

量子位：V3在發布的時候劇透了很多未來要上新的AI功能，V3前不久剛剛完成了一次更新，這次更新有什么亮點？從發布到現在，在技術的迭代上有沒有遇到什么難點？

李宏偉：最近的一次更新是一個非常重要的更新，我們上線了兩個最重要的新功能。

一個是AI錄音，它包括了錄音、轉寫、總結、翻譯，一鍵完成。

另外增加了“所見即所得”的探索世界，它的攝像頭是一直開著的，你可以一邊走，一邊問攝像頭里面的內容。

除了新的功能之外，我們還優化了核心的拍照錄像的色彩效果，這樣可以讓畫面更加鮮活，而且我們還極大地提高了語音助手的啟動速度和穩定性，它的穩定性和速度都有很大的提升，這是在上次的新版本上做的事情。

在這個過程中其實還有蠻多的困難要克服，比如說在端云側的功能分布、網絡連接的穩定性、網絡連接的速度——我們怎么能保證在弱網環境下也能連接得好，但同時啟動速度也比較快。

包括AI上面的多模態算法的協同，用語言、視覺的，在不同場景下，因為多模態大模型現在還沒那么成熟，我們在一些場景下怎么做不同模態算法的融合，同時做算法和規則的融合。

還有就是多品牌手機設備的兼容性，這里面還有一系列的問題，在過去得到了很大的解決。

量子位：關于接下來的的重點更新，雷鳥的計劃是怎樣的？

李宏偉：我們在下一步的更新有幾個大的方向。

第一個是符合我們過去在發布會上對大家的承諾，比如說我們過去提到的RayNeo新的AI電臺、RayNeo AI備忘錄這些新的功能，我們會按照原計劃上線，這里面還是可以給用戶帶來比較好的體驗。

V3既然是一個帶揚聲器的眼鏡，我們就希望它能夠更自然地每日獲取資訊；它又是一個24小時戴在頭上的設備，所以我們希望它可以幫用戶很好地記錄日常生活中大大小小的事情，這是一個方向。

另外一點，我們也在不斷地吸收用戶的反饋，包括對新功能、核心體驗上的反饋，所以我們也在做核心體驗不斷地優化，比如拍視頻，在防抖效果上會持續做優化。

同時我們也在伴隨大模型的發展，在眼鏡上面隨時給大家最新的大模型相關的產品。

比如說我們最近應該會上我們的AI Agent商店，這里面就可以引入更多開發者開發的各種各樣AI的功能。

當然包括基座大模型本身的迭代，我們都會第一時間放到眼鏡上面去。

量子位：當時雷鳥跟通義做了定制的大模型，但是DeepSeek在1月底突然火了，這對咱們在模型上的策略有沒有影響？

李宏偉：其實沒有影響，原因有幾點。

我們選擇通義大模型是經過深思熟慮的，其中大模型在工程化方面的能力、對產品適應度等維度都是非常重要的決策點。

DeepSeek在推理模型上做得很好，但推理模型本身是不是適合接眼鏡作為核心大模型，坦白說，不是很合適。

現階段，用戶希望在眼鏡上提出的問題能夠盡快得到反饋，這是最主要的。從結果來看，我認為我們的選擇是對的。

其次，我們也會上線AI Agent商店，這樣我們能夠在通義合作的技術上，將更多大模型的能力引進到產品上來。

量子位：現在市面上很多廠商是選擇接一些能力比較強的通用大模型，然后自己再做調優，您認為定制大模型未來會是更好的趨勢嗎，還是覺得這兩種路線各有優勢？

李宏偉：我還是覺得定制大模型是好的。我們認為眼鏡是AI落地非常好的載體，它對AI的倚重是比較高的。

你做一個東西，如果這里面AI不是很重要，或者你用AI不重，你在上面調優就可以。

但如果你跟它是生死相依的，你只在外面改就不行，簡單粗暴就是這樣理解的。

眼鏡和AI是生死相依的，所以我們就認為只在外圍改是不行的，外圍你改不了什么東西，你只能做Agent，只能在它的功能上做集合。

但現在AI落在眼鏡上的問題，不是說功能集合的問題，是它的基座大模型就要改，它的速度問題、準確的問題、多模態的問題，都不是在上層能解決的問題。

上層當然有很多工作要做，但是不改基座大模型，我認為是不行的。

因為大模型本身的發展，主要考慮到的是基座大模型的能力，而它的工程化方面，過去更多的是考慮手機或者電腦的使用場景。

但在眼鏡上面要做到反應速度非常快——我問了它，要趕緊給我回復，因為我也沒有別的響應方法。

所以，眼鏡對多模態大模型的要求比較高，對圖像識別率要求也比較高，所以我們跟通義一起在眼鏡上做了很多的改變和優化，從底座模型開始就做了很多事情，所以我們在快、準等等各個方面都做了很多的突破，這一點還蠻重要的。

量子位：在1月份的發布會上，雷鳥承諾過給V3提供3年的免費AI功能更新維護，今后的新產品，比如說X3 Pro，也會這樣嗎？未來會不會也會考慮一些訂閱的模式，或者半訂閱的模式，去平衡一些AI上面的成本？

李宏偉：首先我們承諾的就肯定會做到，所以我們會在V3上面持續提供3年的免費AI更新維護。

其次，我們在未來會探索更多或者更長期的商業化的模式，這件事情主要有兩個考慮。

第一個考慮是說，我們還是希望在一定的用戶基礎上再做這樣的商業模式，用戶基數太少了意義不大。

第二是我們做這種商業模式，其實是為了給用戶提供更好、功能更強大的AI，所以我們會在成本和用戶體驗之間做一個平衡，這樣可以給用戶提供更長期、穩定的服務和價值。

發揮AI的最大價值，需要全彩顯示

量子位：雷鳥在光波導上積累的技術優勢特別多，包括5月份馬上也要發X3 Pro，同時涉獵不帶顯示的AI眼鏡，好像就體現不出雷鳥在光波導上的優勢，所以同時涉足這種不帶顯示的AI眼鏡是什么樣的戰略？

李宏偉：這里面主要的原因，實際上就是雷鳥采取的策略，我們的策略，就像任正非任總說的，一邊攀登珠穆朗瑪峰，一邊沿途下蛋。

彩色AI眼鏡一體機是我們攀登珠峰的產品，它一定是未來的AI+AR眼鏡的主要形態。在過程中我們也會把比較成熟的技術和成熟的用戶需求做成“沿途下蛋”的產品。

這樣做有幾個原因，第一個原因是說只有攀登珠峰才能有未來。第二點是沿途下蛋對于我們獲得現在的商業成果，以及逐步的積累能力，尤其是市場化的能力，也有幫助，所以主要是這個考慮。

基于這個考慮，不帶顯示的AI眼鏡不是現在突然決定做的，是我們很早就在做相關的研究，我們在前期設計了V1、V2兩款，它們都是從攝像頭出發的產品，所以我們發的這一款叫V3，就是因為這個原因。

另外一點，不帶顯示的眼鏡有一個優點，就是當前更成熟，我們看到在行業里面不帶顯示的AI眼鏡已經做到了PMF（產品市場匹配度，Product Market Fit）。

在核心的Killer App上面，比如說第一視角拍攝，比如AI上面，我們已經可以做得比較好了。而對我們來說，我們通過這樣的產品，在AI上面可以做到更及時的基于用戶檢驗的積累。

眼鏡是AI落地最好的載體，同時眼鏡上面的AI也是非常重要的，我們在眼鏡上面積累AI，或者做一個很好的AI Agent出來，實際上是需要數據積累的，所以我們現在做不帶顯示的眼鏡，也可以讓我們有更廣泛的數據積累。

我們很快會推出來一個用戶激勵計劃，如果用戶同意把一些數據經過脫敏上傳，我們會提供相應的獎勵，這樣我們就可以真的打磨出來更好的在眼鏡上的Agent，或者在眼鏡上的多模態個人助理。

量子位：您認為在AR設備上，AI能夠帶來哪些創新？

李宏偉：首先我們認為AI和AR的融合，就是一個確定性的、必須的事情。

比如說X3 Pro是一個帶顯示的眼鏡，我們把它和AR等同了，但如果我們拆開來看，它里面首先是顯示。

AI到底需不需要顯示？我認為AI非常需要顯示，這是必須的。因為視覺是一個人最主要的感官，所以顯示是必須的。

舉一個典型的場景，比如翻譯菜單，現在雷鳥V3和Meta都是一樣的，你可以讓它翻譯菜單，它念給你聽。但最好的情況，其實是我看到一個法語的菜單，我調動眼鏡就可以把它變成中文的菜單，我把它翻譯成中文蓋在上面去，這樣我點菜的時候，直接指向某個菜就可以直接點了，這是效率最高的方法。

所以AI眼鏡是非常需要顯示的，這是第一點，它們的結合是在各種各樣的場景下結合，幾乎沒有什么場景是說有顯示是不好的。

第二件事情，AI確實把AR的場景能做出來，并且體驗很好。

舉個例子，剛才講的翻譯的場景，我們把翻譯的結果貼在菜單上，這當然就是一個虛擬現實融合的AR的功能。但是如果要翻譯得好，實際上背后是需要AI的。

比如說我們用一些AR的場景，我們提問題的，希望面前站了一個人物形象或者一個小精靈形象，他跟我們溝通的時候，如果他只是跟我們簡單互動，像以前AR的場景，你跟他招招手，他動一動，他的玩法或者可玩性就比較弱。

如果你做了一個AI+AR的場景，它可以真的跟你互動。比如說眼鏡看到迪士尼的米老鼠，你只是跟它招手，它能在你手上停一停，這個比較簡單。但如果你要能跟它聊天，它有各種各樣AI驅動的對話和表情，體驗就完全不一樣。

所以對一系列的AR場景來說，AI都讓它能夠成為現實，并且對體驗提升非常大的一個助力。

量子位：您認為有顯示的眼鏡和沒有顯示的眼鏡，它們的用戶群體都有什么特點？

李宏偉：我們現在看到的是有顯示的眼鏡和沒有顯示的眼鏡，這當然是一個視角，產品就是這樣子的。但其實如果我們補充另外一個視角，就能更好地回答您這個問題。

背后其實是不同的Killer App造成了產品形態不同。順序不完全是說我們定義了怎樣的硬件，反倒是我們定義了什么樣的Killer App，定義什么樣的產品形態，去滿足這個關鍵的Killer的應用場景。

從這個視角來看，我們看到幾個Killer App。

第一個是第一視角的拍攝，這件事情是蠻重要的，舉個例子，比如你去徒步的時候，你一邊走要一邊舉起手機來拍，體驗就不太好，或者是你去旅行，在海外，比如在巴塞羅那的街頭去City walk，你就不希望不斷掏手機出來，你希望直接拍到，不管是照片還是視頻，這樣效果就比較好。

第二個Killer App就是AI，AI當然是一個非常重要的部分。

我們看到了一系列的應用場景，進而決定做什么樣的產品是滿足這些場景的，比如不帶顯示的眼鏡，它就可以做到第一視角拍攝，它也可以做到一定程度的AI，比如對話的AI、視覺的理解，但是它的輸出就比較受限制。

帶顯示的眼鏡，一方面可以把原來的體驗做得更好，比如說第一視角的拍攝，現在我們第一視角的拍攝，因為沒有顯示，所以我們不知道當時拍的大概是什么樣子，但有了顯示之后，我就可以做預覽，我就可以知道拍的什么樣子，這樣才能拍到我想要的畫面。

AI有了顯示之后，它的反饋就不單是用語音，還可以用視覺反饋，這還蠻重要的。所以首先是場景體驗會提升，當然它的使用成本、價格會變高一點，所以在這些場景里面，更關注更高級體驗的用戶，就會采用帶顯示的眼鏡。

另外帶顯示的還有別的用戶畫像，因為有的功能是不帶顯示做不到的，比如說這里面對AI和AR非常感興趣的科技愛好者，他們就希望做這樣的事情，買這樣最領先的產品。

再比如說有些人是希望能投屏到眼鏡上面去，它有一系列的場景會在上面用，這些群體都會偏好帶顯示的眼鏡。所以帶顯示的眼鏡使用范圍更廣、應用場景更多，但是在這些場景里面偏重于早期科技愛好者群體這樣的畫像。

量子位：現在有一些AI眼鏡采用的是“折中路線”，也就是在全彩顯示選擇單色顯示，雷鳥如何看待這種模式？如果可以一步跳到全彩顯示的階段，對大家是否是更有好處的？

李宏偉：還是剛才說的，既要考慮硬件的問題，也要考慮Killer App的問題，我們認為單色顯示的產品是有價值的，但它的重要性不如彩色的。

舉個例子，我之前參加一個電視節目錄制，阿里的王堅院士也是嘉賓，他本來認為全民AR時代要20年，但是看到雷鳥X3這樣帶彩色顯示的眼鏡之后，他就改變了，他說3到5年全民AR時代就會到來，這是它的價值，彩色會帶來更多的應用場景。

一個設備的爆發，其實本質上是應用場景帶動的爆發，所以核心的我們還是覺得，單色的是有價值的，但彩色的更有價值，它更有決定性的意義。

AI眼鏡的生態破局點，在于打造Killer App

量子位：您覺得AI眼鏡，不管帶不帶顯示，它能否成功的最關鍵因素是什么？

李宏偉：我覺得這還是跟它的Killer App有關系，當然面向不同場景、不同用戶的時候也不太一樣。

如果我們簡單粗暴地來說，首先如果我們認為是大規模用戶，我們就希望這個眼鏡無非是符合兩個特征，第一是它的功能夠強，第二是成本夠低。

功能夠強這件事情當然是Killer App不斷疊加，作為下一代的手機，它就是這個發展過程，就跟手機一樣，打電話、發短信、上網、APP Store、圖片、視頻……

它要有一個一個的Killer App上去，比如第一視角拍攝，它要拍得夠好，它拍得越好，可能用的人就越多。

還有AI的功能，現在語音對話、視覺翻譯導覽都可以，但是在多模態的時候，做一個復雜意圖規劃，這樣的模型還需要發展。

比如我跟大家在開會，會上我說下周三咱們一起吃個飯，AI要理解我面前有多少人，要給我定個日歷，去哪兒吃飯，要不要訂個餐廳，這件事情還要發展，這也是一個要解決的問題，就是Killer App不斷增加，其中非常重要的是AI Agent的成熟。

還有一個是成本的問題，這方面主要還是工程化的問題，就是把眼鏡做到盡量輕、把續航時間做到盡量長，核心的還是這個問題。這里面當然要解決一些IP設計的問題、電池、功耗的問題，產品佩戴人因工程的問題，核心是這幾個方面。

量子位：AI眼鏡生態內容不足也是一個非常棘手的問題，尤其是現在各家眼鏡廠商的應用之間，可以說基本上都不太互通，面對這個困境雷鳥有什么對策？

李宏偉：AI+AR眼鏡本來就是一個不斷持續發展疊加的過程，現在沒有到解決生態繁榮問題的時候，現在的核心是要解決第一步的問題，也就是前面幾個Killer App的問題，在這件事情上最近是有進展的，比如雷鳥V3、Meta雷朋眼鏡。

另外我們一邊在發布產品，一邊為開發者提供一個非常好的開發生態，包括我們的產品本身，包括SDK，包括開發者支持等等相應的事情，所以我們在一個螺旋上升過程中，只是說一開始可能10個應用，后面變成50個、200個，它有一個發展的過程。

我們也在跟全球最大的生態公司合作，比如騰訊、阿里、谷歌，剛才您提到我們跟阿里在AI上面的合作，不單是AI大模型本身的合作，我們也在做AI Agent平臺的合作，所以這里面也在做這件事情，去促使生態的發展。

我們在內容、應用、硬件上都還是做了比較多的工作，比如提供一個很好的硬件基礎，打造前面最重要的幾個Killer App，同時跟大公司、開發者一起構成一個促進生態發展的環境，這是我們在做的事情。

破局點也是比較明確的，就是像雷鳥這樣的公司，把產品賣到幾百萬、上千萬，這個事情自然就解決了。最核心的破局點在這里。

量子位：那您認為做AI眼鏡的友商之間有沒有必要抱團取暖，比如說推出一個相對兼容性比較強的開發標準，從而更好地推動開發者生態？

李宏偉：我覺得需要。雷鳥就是這樣做的，比如說我們的SDK、開發者生態，就是兼容Open XR、AI的一些基本標準的。

我只是覺得這件事情可能只能發揮30%、40%的作用，但也號召大家這么做，因為這件事情這樣做，對大家都有好處，開發者生態本來就是一個生態問題，它不是一個純粹的技術問題，生態起不來，大家都會受到影響。

不會存在說一個人突然生態很好，這是基本不可能的。

量子位：AI眼鏡雖然出現也有一兩年的時間，但是它還算是一個比較新的物種，在供應鏈打通上面，可能也是存在一些不完善的地方，您認為目前的供應鏈能夠滿足我們當下和未來一段時期的需要嗎？

李宏偉：我認為還不行，在一些關鍵的地方還不是很完美。

這主要體現在兩個維度上面，第一個維度是說這個技術不是什么大問題了，但是因為AI眼鏡這個方向，大家的準備度不夠，所以沒有針對性地做出來很適合它的好的供應鏈的組件。

某種意義上芯片就是這個邏輯。現在的芯片主要還是考慮過去手機或者相關設備，當然有些像AR1這樣的比較考慮眼鏡的，如果更多人真的專門為眼鏡去做設計，體驗還是會好很多，這是第一個問題。

第二個問題是在技術的完成度上面，確實有些關鍵的器件在技術完成度上面還是需要一點時間去做不斷地優化，當然這不代表它現在就不能商業化，它只是有不斷優化的過程，比如說包括micro LED、波導，但是在這個方面，雷鳥都在推動行業一起去做非常重要的突破。

比如芯片，我們也在跟一些芯片公司定制；以及Micro LED和波導，雷鳥發布了全球第一個全彩Micro LED的眼鏡，我們自己做了全彩光引擎，我們也在和應用材料這樣的公司，聯合開發了第一個量產的光刻刻蝕的光波導，它就可以做到很好的一致性。

供應鏈問題是一個產業問題，也是一個生態問題，它需要和大家聯動，頭部的企業就非常需要跟供應鏈一起解決剛才那兩個問題。

當然，在這兩件事之外，還有一個問題，就是要把成本和規模化量產解決，才能給客戶一個價格合適的產品，這件事情雷鳥做得也比較多，我們在各個方面通過大規模量產，把成本降得更低一些。

量子位：所以您認為對于整個行業的發展，最大的限制因素是什么？

李宏偉：我還是認為最大的限制因素，實際上還是技術和生態的互動。

這個行業發展，我認為它的主線是這樣的，從不帶顯示的AI眼鏡，到帶顯示的AI眼鏡，再到AI+AR眼鏡，它會有若干個指數級增長的爆發點，就是它會有幾個iPhone時刻，這些iPhone時刻的核心就是技術足以把產品變成現實。

當然要想產品化，除了技術突破，還需要整個生態，包括軟件、供應鏈生態的互動。

所以這件事情我整體來說覺得是隨著時間發展會快速突破的過程，雷鳥作為頭部企業在這里面已經做了比較多的探索，已經看到了一定的趨勢和結果。

量子位：小米、華為等大廠最近也紛紛在AI眼鏡上有所動作，您認為這樣的大廠加入這個行業會帶來什么樣的影響？

李宏偉：我覺得對行業來說是一個好事，促進行業更快的發展，我剛才不斷地提到生態的問題，他們進來之后就會讓生態更繁榮，至少他們進來了，生態就多了一家。

對市場的競爭也會帶來影響，在不帶顯示的AI眼鏡上面，戰術上不好做，但是戰略上它的技術棧的深度不是那么深，所以大家會相對比較卷。坦白說，不帶顯示的AI眼鏡，其實也不是特別適合純新的創業公司來做，當然雷鳥背后有知識，也有我們過去的積累，所以我們決定做這個產品。

行業發展會經過幾個階段，剛才不斷地說那幾個階段，我們盡快把第一個階段渡過去，就可以讓第二階段更快的到來，第一個階段越久，第二個階段永不容易到來。

第二個階段是什么？就是帶顯示的AI眼鏡，而帶顯示的眼鏡上面，它的技術是具有顛覆性的，光學顯示技術是新的，它不是手機的技術。

帶了顯示之后，應用生態會更豐富，也有更強的顛覆性了。所以我們覺得這沒有關系，包括雷鳥這樣的公司，我們現在在不帶顯示的AI眼鏡上已經獲得了比較好的競爭力和份額，我們認為更重要的是在帶顯示的AI眼鏡上，雷鳥這樣的公司會獲得更大的優勢。