News

香港學生躋身Google解決方案挑戰賽全球百強 開發AI機器狗及視障閱讀器

  •  
  •  
  •  

Google解決方案挑戰賽是Google自2020年起面向全球Google Developer Groups on Campus學生舉辦的年度比賽,鼓勵學生運用Google的科技及技術,回應聯合國永續發展目標。今年,來自職業訓練局 (VTC) 機構成員香港資訊科技學院 (HKIIT) 的兩支團隊在Google香港的支持下,開發了「AI工業安全守護犬」及「AI螢幕閱讀器」,成功超過逾三千參賽團隊,躋身全球百強,成績斐然。

Google大中華區開發者生態系統負責人上官林傑(Eric)表示:「Google 香港過去20年致力推動數碼創新,提升本港數碼能力。我們積極支持與本地開發者相關的計劃,包括已在香港推展超過15年的 Google Developer GroupsGoogle Developer Experts 及Google Developer Groups on Campus等。單在2023年,我們透過這些計劃接觸了超過9500位開發者。我們為本地開發者提供培訓、最新行業資訊、參與Google全球性的大型開發者活動如I/O Connect,以及與Google產品團隊互動等交流機會,促進本地開發者生態圈的持續發展。」

Google大中華區開發者生態系統負責人上官林傑 (Eric)表示:「Google香港過去20年致力推動數碼創新,提升本港數碼能力。」

自2004年,Google一直支持香港數碼轉型,對本港發展有重要影響 – 單在2023 年,Google為香港企業和家庭創造739億港元的經濟效益。Google香港亦致力促進香港開發者生態圈發展,包括為本地開發者提供全球數碼經濟所需的工具和知識,以及創造就業 – Google Play單在2023年就支持了超過11,800名本地軟件開發者、工程師和客戶服務人員就業,以及造就了23,700個間接和連帶職位。

今年,來自職業訓練局(VTC)機構成員香港資訊科技學院(HKIIT)的兩支團隊在Google香港的支持下,開發了「AI工業安全守護犬」及「AI螢幕閱讀器」,成功超過逾三千參賽團隊,躋身全球百強,成績斐然。

VTC團隊合作開發的「AI工業安全守護犬」及「AI螢幕閱讀器」成功躋身Google解決方案挑戰賽 2024的首100名。左起:HKIIT講師張宗麟、VTC雲端系統及數據中心管理高級文憑畢業生郭巧鈴、學生姚至峰及HKIIT高級講師黃俊彥。
  • 針對建築等行業的職業安全問題,結合Google Cloud、AI、物聯網、機械人編程及數據分析等技術,開發的一款配備AI鏡頭的機器狗。
  • 能在工地自動進行巡邏、實時偵測安全隱患 (如工人有否配戴安全裝備、身體不適等情況)、監察工地環境並跟進工程進度。
配備AI鏡頭的機器狗

負責開發AI機器狗的VTC雲端系統及數據中心管理高級文憑畢業生郭巧鈴(Cathy)分享由於機械狗是精密的機械人,HKIIT團隊要考慮軟件和硬件的協調,確保機械狗的動作可順暢執行電腦編程,同時避免出現硬件過熱或損耗的情況。她期望作品能應用在建築工地、工場日常營運中,提升工地安全水平。

  • 視障人士瀏覽網頁時,通常使用裝置內置的旁白功能(VoiceOver)將文字朗讀出來,但此功能依賴開發人員預先輸入圖片描述,若無相關文字,系統無法辨認圖片和圖表資訊。
  • 應用Google Cloud Gemini Pro Vision 生成式人工智能(Generative AI)技術,包括自然語言處理(NLP)技術即時將網頁上的圖片或圖表利用語音描繪出來,「語音導航」視障人士「瀏覽」網站。
負責帶領項目的HKIIT高級講師黃俊彥(中)分享「AI螢幕閱讀器」運用Google Cloud Gemini Pro Vision 生成式人工智能(Generative AI)技術來實現圖片和圖表的語音描述。

接手開發的VTC雲端系統及數據中心管理高級文憑學生姚至峰(Kelvin)分享,開發過程中最大挑戰是讓AI準確識別圖片和圖表並轉換為語音描述。HKIIT團隊需反覆調整生成式AI的提示詞,以提高圖片說明的準確度。作品目前在測試階段,姚希望安排不同受眾試用,收集回饋,並優化功能,如改進用戶界面和探討手機應用的可行性。團隊也注意到系統能解決長者瀏覽網站的不便,計劃優化旁白功能,如減慢語速和增加語言選擇,縮窄「數碼鴻溝」。


VTC雲端系統及數據中心管理高級文憑學生姚至峰指「AI螢幕閱讀器」應用Google Cloud Gemini Pro Vision 生成式人工智能(Generative AI)技術即時將網頁上的圖片或圖表利用語音描繪出來,「語音導航」視障人士「瀏覽」網站。系統支援過百種不同語言及各類型圖表,用途多元化。

Eric樂見香港學界在科創領域的表現出色,欣賞團隊把項目「傳承」予下屆的學弟妹。除了提供Google Cloud使用額贊助,Google亦為學生團隊提供 Google 科技及技術的培訓,方便他們使用相關工具進行開發。而打入全球前 100 名的團隊更會獲得產品團隊的的指導及支援。

以AI 螢幕閱讀器為例,Google為學生開發團隊連繫了iEnterprise大同企業,讓學生們更易理解現時視障人士的痛點,當中包括了解到具備技術開發背景的視障人士的觀點及建議。Google將學生團隊與產品團隊連繫,共同探討方案發展及技術可行性。Kelvin分享,視障人士試用系統後反應正面,認為系統能幫助他們更清楚理解圖片內容,有效解決工作問題。

夢想成真基金會的視障人士曾獲邀試用「AI螢幕閱讀器」系統,反應正面,指作品簡單實用。

資深Google Developer Expert、香港資訊科技學院(HKIIT)高級講師黃俊彥(Cyrus)分享道,香港學界已經開始廣泛應用AI技術,而香港擁有具國際化的環境;強大的產學合作關係及政府對STEAM教育的支持,都是培養AI人才的獨特優勢。他建議學界可引入教授AI相關課程,普及至中、小學,讓學生及早接觸AI科技。Cyrus指出Google過去二十年來為本地科技發展作出了重要貢獻,為學界、開發者和企業提供了Google Cloud、AI工具和開源技術等解決問題,並通過GDG等開發者計劃,為本地開發者提供學習、培訓和交流合作的機會,促進了開發者社群成長。此外,Google還為開發者及學界提供資助,如AI使用額、新科技試用版和其他技術,對學界來說亦促進本地技術人才的成長。

負責帶領項目的HKIIT高級講師黃俊彥(中)分享「AI螢幕閱讀器」運用Google Cloud Gemini Pro Vision 生成式人工智能(Generative AI)技術來實現圖片和圖表的語音描述。

Google香港將持續與本地教育機構攜手合作,裝備未來數碼人才,以促進創新並推動香港數碼經濟成長。每年11月在香港舉辦的DevFest Hong Kong便是其中一項重要舉措,旨在匯聚開發者學習和合作前沿技術。去年,我們成功吸引超過1,300位線下參與者,展現了本地開發者社群對技術創新與交流的強烈興趣。今年的DevFest將聚焦負責任的 AI,探討如何以透明、公正和道德的方式運用AI 技術。活動還將涵蓋初創企業發展趨勢、職業規劃及科技教育等話題。

另外,Google香港通過「Google Career Certificates 智慧數碼人才計劃」,以及與香港浸會大學和VTC等機構的合作,讓學生能夠掌握數據分析、雲端運算和網頁開發等數碼領域的技能,同時提升就業能力。最近Google更與香港科技園公司合作「Rocketing AI Co-incubation Program」 人工智能孵化計劃,為本地人工智能初創提供多方面支援。Google Cloud亦與HKIIT的合作,鼓勵學生開發生成式AI驅動、具有社會影響力的解決方案,亦向教育工作者提供Gemini Education Premium等AI工具,幫助他們在教室中發揮人工智能的潛力,提升教學效果。


  •  
  •  
  •