20多年來，機器視覺的開創者們一直在預測什么時候能夠出現可以從零件箱中任意揀選零件的機械手。也就是說利用機器視覺導向的機械手，確定零件在一個零件箱內或容器內的位置，然后從一大堆胡亂堆放的零件中抓取某個零件。
早期開發這一技術的人們認為，由于隨機“零件揀選”系統具有高度的靈活性，因此會給制造廠節約很大的費用，工人再也不需要裝卸來自供貨商的零件箱。在加工生產線上，昂貴的工裝卡具、工具及以零件為目標的進料器可以被隨機化“箱中揀選零件”的系統所取代。
可惜，上世紀80年代初，這一被認為可行的技術不得不面對殘酷的現實。在實驗室開發的“揀選”系統無法轉化為工廠的實際應用。人們發現有時候你會碰到部分零件重疊，照明的變化也會影響到“揀選”的工作進度。當時的計算機在處理大量數據方面也遇到了障礙，使問題復雜化。
最后，只好先研究不太復雜的二維機械手導向方案，即從運動的傳送帶上撿取單一的零件，這相對來說比較通用。而普遍的隨機“揀選”應用方案始終沒有實現，直到今天這仍然是工業界的一項挑戰。不過，現在有越來越多的跡象表明以機器視覺為導向的機械手“揀選”越來越接近現實。機械手經銷商，包括Fanuc公司、Motman公司和Staubli公司都推出了“揀選”系統。
豐田汽車制造廠已經在其發動機零件加工線上使用了5個機械手的“揀選”系統，系統采用ABB公司的機械手，配有三維圖像技術，該技術由Braintech 公司提供。有人說零件全面實行隨機“揀選”方案是不切實際的，如彈簧或幾何形狀復雜的零件就不宜在早期采用“揀選”方案。相反，經銷商更關注比較簡單和幾何形狀容易識別的零件，其中包括圓柱形或圓形的零件。豐田公司的系統只屬于“半隨機”或“半限制”性的“揀選”系統，也就是說在這些系統中，零件并非全部能任意抓取，零件在箱中是松散分布的。
視頻導向“揀選”的應用
在TRW公司，當制動轉子鑄件從供貨商抵達工廠時，零件堆放在一起，相互之間沒有什么東西隔開，裝運時易于搬動。TRW公司過去依靠人工操作，加上提升裝置協助裝卸鑄件。在某些情況下，工廠還使用非視頻裝備的零件揀選系統。非視頻零件揀選系統每抓一個零件需要20秒鐘，但由于零件在木箱中不斷變換，也許會因為抓取失誤，而不得不再用20秒鐘從木箱中撿取不同的零件。
非視頻系統也許對于低批量生產線來說效果很好，因為鑄件的抓放時間為每60秒鐘一個。但在工廠的新生產線上，其所允許的零件抓放周期為15秒鐘，于是不許采用一套有視頻導向的“揀選”系統。
JMP公司為TRW公司提供了兩套系統。每套系統配置了一套由Fanuc公司提供的Fanuc 710ib-45機械手和一臺帶有VisionPro軟件的攝像機，該機由
Cognex公司提供，還配有來自Shafi公司的Reliabot軟件，由其控制著機械手/視頻之間的通信及機械手的導向功能。JMP公司的生產經理Ken McLaughlin先生說，Cognex公司的攝像頭安裝在機械手臂上，可用于確定零件的X和Y坐標，機械手臂上還裝有紅外（IR）傳感器，用于尋找零件箱中某一堆零件層的高度。
當操作員將裝有堆疊鑄件的零件箱放入系統時，觸動起動按鈕，機械手開始升到一個高度，攝像頭攝取圖像，包括確定所有堆放零件的X-Y位置，然后用IR傳感器確定每一堆零件的高度，之后決定夾取順序。如果發現有零件的高度不正常，它會繼續探測，直至其水平與其他堆疊零件的水平一致。
由于采用了視頻導向系統，即使零件堆放箱傾斜了20度，機械手仍可抓取零件。經過特殊設計的受動器與隨動機構連接，保證部分零件的朝向和角度適合于零件的夾取。被夾取的零件由機械手放到傳送器上，然后傳送到加工系統上，整個過程在12秒周期時間內完成，滿足了TRW公司的15秒要求。
在開發TRW系統的過程中，按照Mclaughlin先生的說法將它叫做“2.5維視頻”系統，它能找到一個零件的X、Y和Z坐標，同時使用端部受動器，以使補償零件滾動、節距和偏轉等變化。而三維系統則采用兩臺攝像機，以立體模式工作，它可以在6度的自由范圍內確定零件的位置。
如果是形狀復雜的零件，如支管或變速箱零件就需要采用“半隨機”方案，在零件箱內需要特別裝置，使零件保持一定的方向性。但圓形或圓柱形一類形狀相對簡單的零件，如制動轉子，無論采用半隨機或全隨機模式都可撿取。
Fanuc的“揀選”技術依賴于一臺固定安裝于零件箱上方的攝像頭，通過這一攝像頭可以找到“大致位置”，鑒別和排列15個待夾取的候選件。其軟件通過匹配算法，將看到的零件從多個方向和角度與數據庫中待撿取的零件試樣進行比較，然后找到需要夾取的零件。安裝在機械手上的一個Fanuc傳感器，用于各個零件的“精密定位”。攝像頭首先尋找X和Y坐標位置以及零件的名稱，同時與攝像頭成一定安裝角度的
激光器根據三角測量技術提供Z坐標、偏轉和節距。機械手運行到由“大致定位”鑒別出第一個零件，然后檢查；如果是它所看到的，機械手就夾取這一零件，如果不是，機械手再移動到第二個零件上。
由于多種原因可能會造成系統錯過所要撿取的零件，錯過的越多，系統搜索零件所花的時間就越長。通過對系統零件不斷地精密調整后，Fanuc系統隨機抓放零件所需的平均工作周期已從2002年的22秒鐘下降到今天的15秒鐘。
成績是肯定的，但……
Motoman公司已與Shafi公司在“揀選”技術的應用方面形成了戰略關系，關于這一技術，人們已經等待了很長時間，但“揀選”技術并不是一劑萬能良藥，也不是一切應用領域的終極目標。人們應該認識到它對某些應用領域是有意義的，但對其他的應用領域就不一定。
Shafi公司也有同感。例如在某些“揀選”應用領域，可靠的抓放操作需要兩個過程。你需要將零件從箱中取出來，然后放下或重新夾起，或者進行其他的操作，總之是用機械手將零件精密地放到目標位置上。在工廠，人們所關心的是能否將它撿取，是否能在每隔X秒鐘的時間內使它精確就位。
機械手隨機“揀選”的周期時間取決于機械手的工藝流程，以及在特定的應用領域內，機械手需要移動的距離。為了使“揀選”系統切實可行，必須使攝像頭在2或3秒的時間內完成確認。對于幾何形狀簡單的零件而言，Shafi公司已經達到了目標，時間降低到4至6秒，主要是因為他們采用了較快的處理器，算法也有所改進。
從某種程度而言，“揀選”方案是否獲得成功，關鍵在于零件的不同幾何形狀和應用要求，Shafi公司開發的“揀選”系統依賴于固定安裝的攝像機、機械手上安裝的攝像機以及那些使用激光器的照明裝置。
另一項技術涉及到獲取零件的三維位置，即以很快的速度，攝取零件的2至3個圖像，每個圖像采用不同的照明，以便協助確定其三維位置。尤其是當零件的一部分被擋住時，采用這一技術特別有效。
如果某種應用領域允許的話，最好還是采用固定安裝的攝像機方案。在一個零件被揀取后，攝像頭將移到下一個被抓取的零件上，同時機械手抓放另一個零件。而如果是安裝在機械手上的移動攝像頭可能會遇到被碰撞的風險，如碰到零件箱或其它零件，而固定安裝的攝像頭則不用操心這個問題。
