針對無人車檢測算法開發(fā)的數據準備環(huán)節(jié),參賽者首先可以使用無人車上的華為云HiLens Kit攝像頭來采集交通燈、泊車位圖片數據;然后將采集好的數據上傳至OBS桶中,并在ModelArts物體檢測標注作業(yè);接下來進行少量的人工標注后,可以啟動智能標注;待智能標注完成后再進行人工確認標注結果,即完成了數據的準備工作。

02 算法開發(fā)

ModelArts集成了所有主流的AI算法框架,包括TensorFlow、PyTorch、MXNet、Caffe等,同時提供友好的算法開發(fā)和調測環(huán)境Jupyter Notebook,基于以上,AI開發(fā)門檻得以降低,過程得以簡化。

由于本次大賽無人車檢測算法需要在昇騰310芯片運行,因此參賽者需基于Caffe框架來開發(fā)交通燈、泊車位的檢測算法。為了讓參賽者快速熟悉ModelArts、熟悉基于Caffe框架的開發(fā),比賽官方提供了基于Caffe使用SSD算法開發(fā)的端到端的基礎示例代碼。參賽者可準備好數據后,直接在示例代碼基礎上進行算法的優(yōu)化,這也大大降低了參賽者的開發(fā)門檻。

ModelArts還內置了多種預置算法,可以幫助開發(fā)者快速生成模型。通常,深度學習領域需要大規(guī)模的加速計算,這需要大規(guī)模GPU集群進行分布式加速。而現有的開源框架需要開發(fā)者編寫大量代碼實現在不同硬件上的分布式訓練,而不同框架的加速代碼又都不相同。為了解決這些痛點,需要一種輕型的分布式框架或SDK。ModelArts的MoXing構建于TensorFlow、MXNet等框架之上,使得這些計算引擎分布式性能更高、易用性更好。

03 模型訓練

加速模型訓練、簡化調參難度對于用戶來說是尤為重要的。ModelArts通過級聯(lián)式混合并行技術等各類優(yōu)化技術,在同樣的模型、數據集和同等硬件資源情況下,使得模型訓練耗時降低一半,尤其是大規(guī)模集群訓練線性加速比達0.8。同時,ModelArts通過模型自動搜索、遷移學習、模型自動選擇、超參自動化等協(xié)同優(yōu)化來實現訓練自動化。在深度學習模型訓練方面,ModelArts將分布式加速層、自動化算法層抽象出來,形成一套通用的框架——MoXing,在自動混合精度訓練、動態(tài)超參調整基數、模型梯度自動融合拆分等方面都進行了優(yōu)化。

在硬件資源方面,ModelArts提供了公共資源池、專屬資源池,CPU、GPU(1*P100、1*P4、8*P100、8*V100等)多種實例規(guī)格。豐富的、大規(guī)模計算資源可滿足用戶各種訓練作業(yè)需求。

可以說,無論是在算法優(yōu)化上,還是在硬件資源上,ModelArts都大大幫助了參賽者快速地開發(fā)出無人車檢測算法。

04 模型部署

ModelArts不僅支持云上在線推理、批量推理,還支持將模型部署到邊緣側和端側,滿足大并發(fā)和分布式等多種場景需求。而本次大賽參賽者就是先在ModelArts平臺上開發(fā)的無人車檢測算法,然后部署到HiLens Kit智能攝像頭上。

05 AI開發(fā)全流程管理

借助ModelArts AI可視化全流程管理工具,參賽者可輕松管理交通燈和泊車位的數據集版本、訓練版本、模型版本,進而提高模型優(yōu)化的效率。

ModelArts支持數據集、訓練、模型版本管理,可實現千萬級的模型、數據集以及服務等對象管理,并且無需人工干預,自動生成溯源圖,選擇任一模型都可以輕松找到對應的數據集、訓練、模型部署。尤其是訓練斷點接續(xù)和訓練結果比對,這些實用功能都大大受到AI開發(fā)者的好評。

目前,ModelArts已助力華為自動駕駛平臺,高效管理AI數據處理流程,包括采集、篩選、混合標注和數據溯源,大大縮減了數據處理時間;利用分布式集群訓練,提升了模型訓練效率。40T原始數據處理從8000人天縮短到80人天,AI模型開發(fā)周期從數月縮短到周。

此外,值得一提的是華為云自動駕駛云服務Octopus也正是基于ModelArts,圍繞數據和模型,提供端到端的自動駕駛業(yè)務,包括數據集、標注、算法、訓練、模型??梢灶A見,隨著自動駕駛領域的發(fā)展,華為云ModelArts將助力推動汽車產業(yè)智能發(fā)展。

現在,華為云雙十一上云普惠季正在火熱進行中,四大促銷專場已開放,優(yōu)惠多多,快來華為云官網選購吧!

分享到

songjy

相關推薦