本文中，我們采訪了PyImageSearch的忠實讀者、OpenCV AI Kit （OAK）創始人——Brandon Gilles，他帶來的OAK徹底顛覆了人們應用嵌入式計算機視覺和深度學習的方式。
為了慶祝OpenCV庫成立20周年，Brandon與OpenCV.org官方合作，創建了OpenCV AI Kit——獲MIT認證許可的開源軟件API以及Myriad X-based嵌入式主板/攝像頭。
OAK分為兩種：
opencv sobel，在經過Brandon和OpenCV團隊的同意后，提前獲取了OpenCV AI Kit的一手資料，讓我們一起期待日后PyImageSearch博客上的OAK教程吧。
OpenCV AI Kit將徹底改變嵌入式計算機視覺和深度學習的執行方式，我已經迫不及待地想要上手了。下面讓我們熱烈歡迎Brandon Gilles來分享一下他的故事吧。
OpenCV AI Kit (OAK) 創始人Brandon Gilles訪談全記錄
Brandon Gilles：OpenCV AI Kit （OAK）的首席架構師。
**記者：**可以向大家介紹一下你自己嗎？
opencv canny？**Brandon：**我是一名電氣工程師，是Luxonis的創始人兼首席執行官。一直以來，我都想自己進行創業，并且希望自己的工作能對世界產生積極的影響。但有點可笑的是，我又總是想要規避風險。所以我花了十多年的時間夢想著能創立自己的公司，卻從未真正付諸于行動。所以這是我第一次嘗試全力以赴地去推出一款產品，并白手起家創建屬于自己的公司。
記者： 你有什么計算機視覺和深度學習方面的經歷背景嗎?又是如何開始對這個領域感興趣的呢？
Brandon: 和大多數電氣工程師一樣，我在大學中學習了計算機視覺的課程（現在看來那已經是16年前了！），在線性系統等課程中了解了傳統的計算機功能。但是起初，我的職業發展軌跡和計算機視覺或深度學習領域沒有任何的交集，但當我的導師從我們共同就職的公司離職時，一切都變了。
我很喜歡當時的工作，他也很喜歡（他當時是公司的天線設計師），所以他的離職就更讓人覺得匪夷所思。
AI創始人？我曾問過他為什么要離職，他告訴我說：“AI和深度學習將會顛覆所有的行業，這或許是我職業生涯中最大的機會——我必須要搏一次！”
那時候我還不太了解深度學習，上一次提到“人工智能”這個詞還是2004年的時候。當時我的大學室友在Lisp中嘗試了人工智能技術，但結果卻很不理想。所以從2004年到2016年年中，我一直以為人工智能模型是“毫無用處”的。
后來，當這位我十分尊敬的導師離開了我們都很喜歡的工作，并全身心地投入到人工智能/機器學習/深度學習工作中時，我感到無比震驚，這才睜開眼睛重新審視這個領域。
那天我回到家，在谷歌上搜索了“深度學習”、“機器學習”、“人工智能”等關鍵詞。然后在接下來的一年里，我都沉迷其中，把所有的空閑時間（甚至連上廁所的時間都不放過）都花在了PyImageSearch上，學習網站上的教程，并密切關注TowardsDataScience、MIT Technology上的評論。
粟浩洋松鼠ai創始人、
OpenCV AI Kit (OAK)。OAK-D具備立體深度（左圖）功能，而便宜一點的OAK-1（右圖）相對體積較小，但沒有深度功能
記者： 我們來聊聊此次OpenCV AI Kit 在Kickstarter上的活動吧。我記得你第一次跟我提到這個項目是在2018年，不過當時它還叫“DepthAI”。你是通過什么樣的契機提出的DepthAI呢？又是如何對其進行驗證，并最終成長為OpenCV AI Kit的呢？
Brandon: 過程確實有點曲折，它中途換過好幾次名字（我對此也感到很抱歉）。當時我身邊的朋友和家人遇到了一些狀況，導致我想做一些事情以提供力所能及的幫助。
當時我原本想運用新技術做一款激光槍戰游戲（對玩家、墻壁、建筑物等進行強化）。所以在2017年，我從原公司離職，開啟了自己的全職CV/ML工作生涯，想要通過技術突破來設計出一款能夠適配現有激光槍戰設備的多玩家 AR系統。
但就在那個時候，前后大約一周的時間里，我家人和朋友的身邊（他們的朋友、親戚、或同事）發生了很多起交通意外。雖然事故并沒有發生在我最親近的人身上，但這些故事還是對我產生的巨大的影響。
我父親最好的朋友被車從后面撞倒，導致背部、股骨和臀部多處骨折，傷情十分嚴重，在床上躺了9個月消腫后才進行了手術；同時，我好朋友的生意伙伴也遇到了類似的經歷；而我大學時一起滑雪的伙伴也遭遇了同樣的意外，甚至還受了腦外傷；我所在的黑客空間創始人的合作伙伴也死于交通事故（被汽車的后視鏡擊中了脖子，當場死亡）。
所以突然間，我感覺自己設計的這個增強現實激光系統似乎不太合時宜。鑒于我已經花了數年時間研究計算機視覺、機器學習、深度學習以及其他新興技術，所以我開始思考如何能構建一個預防此類事故的嵌入式系統。
如果在事故發生前汽車能靠左行駛12英寸的話，就可以避免悲劇的發生了。幾年前我曾見識過Jonathan Lansey的LOUD Bicycle 在Kickstarter上眾籌的效果，那正是我想要的！我要設計一個能夠為騎行者和汽車司機提供警示的系統，從而防止交通悲劇的發生。
在我看來，如果計算機視覺和深度學習能夠在分析CT掃描圖像方面勝過醫生；在圖像分類、目標檢測、3D感知等方面勝過人腦，那么也一定有方法能創造出保障人們生命安全的設備。
在我的構想中，這款設備就相當于是騎行在你身后的朋友，當后面有汽車可能會撞向你時，他就會閃起LED強光；當車輛真的要撞上來的時候，他會提前開始鳴笛（但實際音量非常小），留出避讓的時間。此后，我利用從PyImageSearch上學到的知識，以及從Github上獲取的Katsuya Hyodo （PINTO0309）制作出了第一款能夠實現上述目標的原型：
Brandon對日后OpenCV AI Kit的最初靈感
雖然這個原型體積巨大，也不夠美觀，但它卻能達到最初的設計目的！我在原型設計和測試的過程中學到了一件非常重要的事情：
深度+適度對象檢測能簡化問題的解決過程，并且在減少代碼/工作量的基礎上順利運行。
現在，當初的構想已經實現了，能夠通過各種反饋來為騎車的人們提供警示，如閃爍的led燈，甚至還有超級大聲的喇叭。這教會了我第二件重要的事：
盡管有單獨的組件（深度攝像頭、AI處理器、嵌入式CPU等），但仍無法將其構建成小型的嵌入式產品（由于體積太大、過于笨重，所以沒辦法將其放置在自行車座椅下，而且成本也較高）。
但巧的是，當時Myriad X剛開始發售，它具備的CV/AI功能剛好可以解決上述問題，但必須要有U盤或PCIE卡，可是二者都無法嵌入使用，也都不適用深度引擎以及其他CV加速功能（運動估計、邊緣檢測、目標跟蹤、特征跟蹤、視頻編碼、等等）。所以U盤/PCIE無法應用于嵌入式或神經推理以外的應用程序。
在面對這個問題的時候，我和我背后的團隊要么就選擇徹底放棄，要么就主動去建造一個新平臺。我們選擇去構建新平臺——當時將其稱為DepthAI。在進行過一段時間的初步銷售后（你當時也發布了有關我們平臺的推特），OpenCV 的Mallick博士找到我們，想要接管這個平臺，并將其作為解決此類嵌入式CV&AI問題的OpenCV的核心部分。
**記者：**我們來聊一下OpenCV AI Kit背后的硬件吧。是什么推動了這款嵌入式設備的制作呢？作為深入學習/計算機視覺從業者，我們又為什么要了解OpenCV AI 呢？
Brandon: 我們選擇Myriad X的原因是，它在低能耗的芯片中滿足了我們所需的一切功能。
1. 實時神經推理（幾乎涵蓋了所有的網絡）
2. 立體深度
3. 特征跟蹤，包括運動估計和平臺運動估計
4. 對象跟蹤
5. H.265/H.264編碼（用于記錄事件，或單純的進行記錄）
6. JPEG 編碼
7. 16x高效矢量處理器，用于將所有功能組合在一起并運行加速CV函數（可以將其視為鏈接嵌入式特定視覺GPU）。
作為一名電氣工程師，我說：“那太好了，我只要有芯片和SDK就夠了！”我發現，該芯片唯一的SDK是用于神經推理的……市場上的其他產品（計算棒、PCIE卡等）都無法使用其他功能，只能進行推理。
所有這些功能結合在一起，最終使其成為了我們的不二之選。在U盤或PCIE中的應用其實只發揮了它1/7的功能（如果加上其他被我忘記的功能的話，也就只發揮了1/10的樣子)。
至此，我們有了芯片，并且獲得了所需的功能。簡而言之，我們發掘了Myriad X的真正潛力——它將所有功能結合在一起，可以解決Spatial AI的問題。
Spatial AI是借助人工智能來獲得物理坐標的功能——確定目標的位置（以米為單位）。這正是我們要進行實時監控和跟蹤車輛3D軌跡時所需要的功能。
記者： 這樣看來，OpenCV AI Kit不僅僅是一個嵌入式人工智能板。它還是一個API，對嗎？那用戶是如何與API進行交互的呢？它與Python和OpenCV兼容嗎？
Brandon: 問得好。人們關于這個平臺的最大困惑是“它不過就是另一個主板而已”。雖然硬件很重要（因為它能為Myriad X提供所需的支持），但更關鍵的是API，以及我們配置Myriad X硬件塊的新方式：以簡單的方式提供所有功能。我們花了大量的時間來優化緩存、芯片內部通信系統和DDR通信，進行了大量的重寫，最終讓Myriad X能夠實現上述功能。
我們通過一個簡單的API公開了這一消息：兼容Python和OpenCV。它實際上是借助pybind11用C++編寫而成的（也是開源的，因此能夠在可以編譯OpenCV的任何平臺上進行編譯），提供了Python中的API功能。簡而言之，C++接口和直接編程也可以完成。
Kickstarter側重于OAK的USB接口版，但我們正在做SPI接口版的后臺……這樣一來，就可以連接到其他系統，例如沒有操作系統的微控制器。該項目可能會在Kickstarter活動結束時實現開源。
記者： 你在嵌入式系統、主板設計和制造方面有著豐富的經驗，那在制造OpenCV AI Kit的過程中，遇到的最大難題是什么？又是如何解決的呢？
Brandon：最具挑戰性的其實是零部件采購，特別是攝像頭的采購。過去的幾十年里，我們見證了各個領域的信息透明化趨勢以及組件購買便捷性趨勢，但這波浪潮還沒有進入攝像頭模塊市場，該市場仍然非常不透明且固化。在我看來，市場已經瀕臨瓦解。
在這種情況下，我們需要花費大量的時間與供應商進行溝通、下訂單、進行協商談判。除此以外，制造過程和供應鏈一直都運行順利。在Kickstarter眾籌之前，我們在試運行中獲得了99.7%的收益率，這一結果還是很振奮人心的。
圖4:如果你想學習如何在自己的數據集上訓練深度學習模型，可以看一看《Deep Learning for Computer Vision with Python》
記者：你作為PyImageSearch的忠實讀者和用戶，也讀過《Raspberry Pi for Computer Vision》和《Deep Learning for Computer Vision with Python》兩本書。那么你是如何使用這些書來幫助自己開發OpenCV AI Kit的呢？
Brandon：其實我們團隊會一起團購你們的每一本書（其中大部分都是在我們合作之前就買了的）。
PyImageSearch能幫助我們縮短構建原型所需的時間。有了你們的教程和書，我們只需要20秒就可以解決原本可能要花10個小時才能搞清楚的問題。因為書中對各類代碼庫和機器學習技術的運行方法都進行了詳細說明。
所以，PyImageSearch能幫助我們快速構建原型，了解借助計算機視覺解決此類問題的可行性。正因如此，我們才發現：并非所有人都可以使用Myriad X的功能。PyImageSearch幫助我們了解自身的任務，并協助任務的順利運行，避免不必要的麻煩。
**記者：**你會向其他想要學習計算機視覺和深度學習的開發人員、學生、研究員推薦《Raspberry Pi for Computer Vision》和《Deep Learning for Computer Vision with Python》嗎？
**Brandon：**當然會！我之前完全不了解自己的想法在技術層面是否可行，但PyImageSearch向我展示了其可行性，并協助我實現系統的順利運行。
如果你對這個行業感興趣的話，這兩本書一定可以幫助你加深了解，并掌握解決實際問題的方法。
**記者：**對于那些想追隨你的腳步，學習計算機視覺和深度學習，然后在CV/DL領域推出產品的人，你有什么建議嗎？
Brandon：大家可以從PyImageSearch教程入手。我曾花大量的時間來閱讀理論知識和最新技術進展信息，但后來我才發現，只有當我開始真正著手運行PyImageSearch代碼，并通過修改代碼來解決實際問題時，一切才真正開始。
**記者：**如果有PyImageSearch的讀者想和你聊一聊的話，有沒有什么可以聯系你的方式呢？
**Brandon：**我一直堅信工程師是一個需要與他人進行直接交流的職業，因此我們開通了幾種交流途徑：首先，可以在我們的社區頻道（https://luxonis-community.slack.com/）找到我。只要我醒著，就經常會出現在那里。此外，還可以通過我們的網絡論壇（https://discuss.luxonis.com/）與我進行交流。大家也可以隨時給我發郵件，郵箱地址是：brandon@luxonis.com。
總結
以上便是我們對身為企業家、PyImageSearch 讀者及用戶、OpenCV AI Kit 創建者的Brandon Gilles的采訪全記錄。
本文轉載自：https://www.pyimagesearch.com/2020/07/20/an-interview-with-brandon-gilles-creator-of-the-opencv-ai-kit-oak/
作者：Adrian Rosebrock
版权声明：本站所有资料均为网友推荐收集整理而来,仅供学习和研究交流使用。
工作时间：8:00-18:00
客服电话
电子邮件
admin@qq.com
扫码二维码
获取最新动态
![Java实现升序排列的整形数组A,元素两两不相等找出A[i]=i的数据](/upload/rand_pic/2-133.jpg)
