1.一種用於開發觸覺教學材料的圖像轉換方法，其步驟包含：
提供一二維圖像，係作為一輸入信息；
進行一第一程序，係為目標檢測程序，包含：
使用對象演算法檢測該輸入信息以確認一目標對像；以及
對該目標對像進行一圖像分割，係以建構一目標圖像；
進行一盲文編碼程序，包含：
產生該目標對像之一圖義標籤；
將該圖義標籤轉換為一盲文標籤；以及
將該盲文標籤進行像素初始化，係以建構一第一三維點雲信息
進行一第二程序，係為過濾和固定該輸入訊息規格，其包含：
對該輸入信息進行一圖像處理技術，係以建構一第一圖像；
組合該目標圖像與該第一圖像，建構一遮罩圖像；
將該遮罩圖像進行像素初始化；以及
進行一表面重建處理，並建構一第二三維點雲信息；
將該第一三維點雲信息及該第二三維點雲信息轉換為一觸覺照片列印格式資料；以及
以一三維列印裝置依據該觸覺照片列印格式資料建構出一2.5D浮雕列印物件。

2.如請求項1所述之用於開發觸覺教學材料的圖像轉換方法，其中，該圖像處理技術係為邊緣偵測法、色彩濾光法、限制對比度的自適應直方圖均衡法或模糊處理法。

3.一種用於開發觸覺教學材料的圖像轉換方法，其步驟包含：
提供一三維深度圖像，係作為一輸入信息；
進行一第一程序，係為目標檢測程序，包含：
使用對象演算法檢測該輸入信息以確認一目標對像；
將該輸入信息經由RGB色域轉換為複數個轉換圖像；以及
對該些轉換圖像進行一圖像分割，係以建構複數個目標圖像；
進行一盲文編碼程序，包含：
產生該目標對像之一圖義標籤；
將該圖義標籤轉換為一盲文標籤；以及
將該盲文標籤進行像素初始化，係以建構一第一三維點雲信息；
進行一第二程序，係為過濾和固定該輸入訊息規格，其包含：
對該輸入信息進行一三維圖像處理技術，係以建構一第一點雲圖像信息；
將該些目標圖像該第一點雲圖像信息進行組合，以產生一三維遮罩點雲信息；
對該三維遮罩點雲信息進行像素初始化，係以定義一三維模型；以及
將該三維模型進行一表面重建處理，係以建構一第二三維點雲信息；
將該第一三維點雲信息及該第二三維點雲信息轉換為一觸覺照片列印格式資料；以及
以一三維列印裝置依據該觸覺照片列印格式資料建構出一三維列印物件。

4.如請求項3所述之用於開發觸覺教學材料的圖像轉換方法，其中，該三維圖像處理技術係選自降頻濾波器(Decimation filter)、空洞填補濾波器(hole filling filter)、平滑化濾波器(smoothing filter)或時間濾波器(Temporal filter)。

5.如請求項1或3所述之用於開發觸覺教學材料的圖像轉換方法，其中，該第二三維點雲信息具有至少一表面顏色觸覺信息。

6.如請求項5所述之用於開發觸覺教學材料的圖像轉換方法，其中，該表面顏色觸覺信息係為複數個表面觸紋所組成，係依不同觸紋排列方式定義顏色。

7.如請求項5所述之用於開發觸覺教學材料的圖像轉換方法，其中，該表面顏色觸覺信息係為複數個顏色盲文觸點。

8.如請求項1或3所述之用於開發觸覺教學材料的圖像轉換方法，其中，該圖像分割係為實例分割法、語義分割法或全景分割法。

9.如請求項1或3所述之用於開發觸覺教學材料的圖像轉換方法，其中，該表面重建處理係為三角剖分算法、移動立方體算法或構造實體幾何算法。

10.如請求項1或3所述之用於開發觸覺教學材料的圖像轉換方法，其中，該觸覺照片列印格式資料係為標準模版庫、虛擬實境建模語言或G碼(G-code)。

【技術領域】

【0001】 本發明係關於一種圖像轉換方法，特別是有關於一種用於開發觸覺教學材料的圖像轉換方法。

【先前技術】

【0002】 隨著科技發展圖片是傳播訊息來源之一，由於視覺障礙者視力限制，主要依靠聽覺和觸覺來學習，尤其觸摸模式學習是最重要一環，而相關的教材、教具多以點字為主，但許多事物或概念，透過文字或聲音學習成效有限，需透觸覺感知方式才能被理解及吸收；目前故市面上相關教材相當缺乏，因為觸覺圖像教學教材，需要設計將不同材料以手工將組合與拼貼，將圖像轉化為立體教材，製作過程相當繁雜，或者需要昂貴的設備才可完成，不僅耗費大量時間與金錢，還有可觀的人力；且從製作面向來說，手工的教材、教具或圖冊，雖然符合視覺障礙者個別化的需求，但缺點是沒有辦法統一規格、製作耗時、成本昂貴，且手工黏製容易脫落較不耐用難以保存。

【0003】 有關創建觸覺照片的不同過程，通常是藝術家手工製作的，並在展覽和其他地方展出，藉以作為視障人士也可以欣賞藝術的方式，但這樣的創建過程並不容易，對於教育而言，更是很難量產和發行，因此難以推廣。觸覺教學材料的用例通常受到限制，因為無法像一般的課本，以廉價簡便方法製作，當然也很少看到視覺信息轉換為觸覺格式的教材。

【0004】 在全民拍客的時代，圖片是傳播訊息來源之一，視覺障礙者也能像普通人一樣拿起相機或手機拍照，但卻無法看見照片的內容。隨著科技發展，運用3D列印可以快速地將立體形狀輸出，製作成一成型、結構複雜的模型，且價格較便宜，然而目前需3D列印要以建模方式列印，對於視覺障礙者操作相當困難，更別說是能夠隨拍隨印，隨時能夠去觸摸這個世界。

【發明內容】

【0005】 本發明的目的在於解決上述先前技術觸覺教材能以輕易獲得以及視覺障礙者無法輕易隨拍隨印之缺失，為達上述目的，本發明提供一種用於開發觸覺教學材料的圖像轉換方法，其步驟包含：提供一二維圖像，係作為一輸入信息；進行一第一程序，係為目標檢測程序，包含：使用對象演算法檢測該輸入信息以確認一目標對像；以及對該目標對像進行一圖像分割，係以建構一目標圖像；進行一盲文編碼程序，包含：產生該目標對像之一圖義標籤；將該圖義標籤轉換為一盲文標籤；以及將該盲文標籤進行像素初始化，係以建構一第一三維點雲信息；進行一第二程序，係為過濾和固定該輸入訊息規格，其包含：對該輸入信息進行一圖像處理技術，其中，該圖像處理技術係為邊緣偵測法、色彩濾光法、限制對比度的自適應直方圖均衡法或模糊處理法，係以建構一第一圖像；組合該目標圖像與該第一圖像，建構一遮罩圖像；將該遮罩圖像進行像素初始化；以及進行一表面重建處理，並建構一第二三維點雲信息；將該第一三維點雲信息及該第二三維點雲信息轉換為一觸覺照片列印格式資料；以及以一三維列印裝置依據該觸覺照片列印格式資料建構出一2.5D浮雕列印物件。

【0006】 此外，本發明揭露一種用於開發觸覺教學材料的圖像轉換方法，其步驟包含：提供一三維深度圖像，係作為一輸入信息；進行一第一程序，係為目標檢測程序，包含：使用對象演算法檢測該輸入信息以確認一目標對像；將該輸入信息經由RGB色域轉換為複數個轉換圖像；以及對該些轉換圖像進行一圖像分割，係以建構複數個目標圖像；進行一盲文編碼程序，包含：產生該目標對像之一圖義標籤；將該圖義標籤轉換為一盲文標籤；以及將該盲文標籤進行像素初始化，係以建構一第一三維點雲信息；進行一第二程序，係為過濾和固定該輸入訊息規格，其包含：對該輸入信息進行一三維圖像處理技術，係以建構一第一點雲圖像信息，其中，該三維圖像處理技術係選自降頻濾波器(Decimation filter)、空洞填補濾波器(hole filling filter)、平滑化濾波器(smoothing filter)或時間濾波器(Temporal filter)；將該些目標圖像該第一點雲圖像信息進行組合，以產生一三維遮罩點雲信息；對該三維遮罩點雲信息進行像素初始化，係以定義一三維模型；以及將該三維模型進行一表面重建處理，係以建構一第二三維點雲信息；將該第一三維點雲信息及該第二三維點雲信息轉換為一觸覺照片列印格式資料；以及以一三維列印裝置依據該觸覺照片列印格式資料建構出一三維列印物件。

【0007】 較佳地，該第二三維點雲信息具有至少一表面顏色觸覺信息，其中，該表面顏色觸覺信息係為複數個表面觸紋所組成，係依不同觸紋排列方式定義顏色。

【0008】 較佳地，該表面顏色觸覺信息係為複數個顏色盲文觸點，係以盲文觸點表示顏色。

【0009】 較佳地，該圖像分割係為實例分割法、語義分割法或全景分割法，但不以此為限。

【0010】 較佳地，該表面重建處理係為三角剖分算法、移動立方體算法或構造實體幾何算法，但不以此為限。

【0011】 較佳地，該觸覺照片列印格式資料係為標準模版庫(STL，Standard Template Library)或虛擬實境建模語言(VRML，Virtual Reality Modeling Language)，但不以此為限。

【0012】 藉由本發明之用於開發觸覺教學材料的圖像轉換方法可達成僅需使用簡單的拍攝工具取得二維圖片，即可輕易建構三維模型並利用3D列印技術創建觸覺照片的新平台，改善教育系統，輕易增添不同形式的教材之功效，本發明之用於開發觸覺教學材料的圖像轉換方法之另一功效為視障人士可輕易地透過觸覺照片去了解物體的外觀形狀甚至是顏色，更進一步地，視障人士可以隨拍隨印取得觸覺照片，隨時能夠了解這個世界，並可珍藏以及記錄每一個感動的瞬間，重現相片中悸動時刻，觸摸的到回憶，此外藉由本發明可輕易打照不同風格的觸覺照片，例如：個性化觸覺照片，釘拼圖，觸覺圖等，這些過程是自動完成的，因此，即使是視障人士也可以輕鬆使用本發明。

【圖式簡單說明】

【0013】 圖1係為第一實施例之用於開發觸覺教學材料的圖像轉換方法流程圖。

【0014】 圖2係為第二實施例之用於開發觸覺教學材料的圖像轉換方法流程圖。

【0015】 圖3係為2.5D浮雕列印物件示意圖。

【0016】 圖4係為三維列印物件示意圖。

【實施方式】

【0017】 為使所屬技術領域中具通常知識者，能瞭解本發明之內容並可據以實現本發明之內容，以下茲以適當實施例配合圖示加以說明，基於本發明內容所為之等效置換、修改皆包含於本發明之權利範圍。

【0018】 請參考圖1及圖3，圖1係為第一實施例之用於開發觸覺教學材料的圖像轉換方法流程圖，圖3係為2.5D浮雕列印物件示意圖，本發明之第一實施例之用於開發觸覺教學材料的圖像轉換方法，其步驟包含：步驟S101，提供一二維圖像，係作為一輸入信息；步驟S102，進行一第一程序，係為目標檢測程序，包含：步驟S121，使用對象演算法(object detection algorithm)檢測該輸入信息以確認一目標對像；以及步驟S122，對該目標對像進行一圖像分割(image segmentation)，係以建構一目標圖像；步驟S103，進行一盲文編碼程序，包含：步驟S131，產生該目標對像之一圖義標籤；步驟S132，將該圖義標籤轉換為一盲文標籤；以及步驟S133，將該盲文標籤進行像素初始化，像素初始化或可稱3D配準，意即在三維空間中指定位置，並根據全域座標空間放置，背面也會生成一個平面，作為圖像的基礎，係以建構一第一三維點雲(Point Cloud)信息，其中，點雲是三維空間中的一組數據點，這些點雲的總和就會形成一個實物的外表；步驟S104，進行一第二程序，係為過濾和固定該輸入訊息規格，其包含：步驟S141，對該輸入信息進行一圖像處理技術，其中，該圖像處理技術係選自邊緣偵測法(Edge Detection Algorithm)、色彩濾光法(color filters)、限制對比度的自適應直方圖均衡法(CLAHE，Contrast Limited Adaptive Histogram Equalization)或模糊處理法(Image Blurring)，係以建構一第一圖像；步驟S142，組合該目標圖像與該第一圖像，建構一遮罩(Mask)圖像；步驟S143，將該遮罩圖像進行像素初始化，像素初始化或可稱3D配準，給定被遮罩的圖像，其像素在三維空間中指定位置，並根據全域座標空間放置，背面並會生成一個平面，作為圖像的基礎；以及步驟S144，進行一表面重建處理，並建構一第二三維點雲信息；步驟S105，將該第一三維點雲信息及該第二三維點雲信息轉換為一觸覺照片列印格式資料；以及步驟S106，以一三維列印裝置依據該觸覺照片列印格式資料建構出一2.5D浮雕列印物件，其中，2.5D又稱偽三維或半三維，並非真正意義上的三維，意即本實施例之2.5D浮雕列印物件僅具有凸起而不具表面高度變化的浮雕列印物件。

【0019】 具體而言，邊緣偵測法係突顯圖像明暗度差異的邊緣地區之信息，對圖像梯度的幅值和方位角進行估算以獲得圖像的邊緣信息；色彩濾光法，係指利用色彩濾光以消除光照不均勻造成的影響，改善圖像的視覺效果；限制對比度的自適應直方圖均衡法，係指自適應方法會計算多個直方圖，每個直方圖對應於圖像的不同部分，然後使用它們來重新分配圖像的亮度值，其中對比度放大受到限制；模糊處理法係指透過使用低通濾波器進行影像卷積來實現的去除高頻內容，例如雜訊。

【0020】 請參考圖2及圖4，圖2係為第二實施例之用於開發觸覺教學材料的圖像轉換方法流程圖，圖4係為三維列印物件示意圖，本發明之第二實施例之用於開發觸覺教學材料的圖像轉換方法，其步驟包含：步驟S201，提供一三維深度圖像，係作為一輸入信息；步驟S202，進行一第一程序，係為目標檢測程序，包含：步驟S221，使用對象演算法檢測該輸入信息以確認一目標對像；步驟S222，將該輸入信息經由RGB色域轉換為複數個轉換圖像；以及步驟S223，對該些轉換圖像進行一圖像分割，係以建構複數個目標圖像；步驟S203，進行一盲文編碼程序，包含：步驟S231，產生該目標對像之一圖義標籤；步驟S232，將該圖義標籤轉換為一盲文標籤；以及步驟S233，將該盲文標籤進行像素初始化，係以建構一第一三維點雲信息；步驟S204，進行一第二程序，係為過濾和固定該輸入訊息規格，其包含：步驟S241，對該輸入信息進行一三維圖像處理技術，係以建構一第一點雲圖像信息，其中，該三維圖像處理技術係選自降頻濾波器(Decimation filter)、空洞填補濾波器(hole filling filter)、平滑化濾波器(smoothing filter)或時間濾波器(Temporal filter)；步驟S242，將該些目標圖像該第一點雲圖像信息進行組合，以產生一三維遮罩點雲信息；步驟S243，對該三維遮罩點雲信息進行像素初始化，像素初始化或可稱3D配準，給定被遮罩的圖像，其像素在三維空間中指定位置，並根據全域座標空間放置，背面並會生成一個平面，作為圖像的基礎，係以定義一三維模型；以及步驟S244，將該三維模型進行一表面重建處理，係以建構一第二三維點雲信息；步驟S205，將該第一三維點雲信息及該第二三維點雲信息轉換為一觸覺照片列印格式資料；以及步驟S206，以一三維列印裝置依據該觸覺照片列印格式資料建構出一三維列印物件。

【0021】 具體而言，降頻濾波器，係減少圖像中的採樣點數量，將可減少使用數據的計算和存儲需求；空洞填補濾波器係用於減少基於3D掃描數據中光反射的微小偽像，並重新創建圖像中的缺失數據，校正結果圖像中的丟失數據，過濾器獲得數個立即鄰近像素，並根據用戶定義的規則選擇其中之一；平滑化濾波器，用於保留圖像中的邊緣並增強所收集數據的表面平滑度，並且可消除使用體素點雲進行重建的塊狀性質，常見的有平均濾波(averaging filter)及高斯濾波(Gaussian filter)，平均濾波係以濾波器遮罩所定義之鄰域中灰階的平均值取代影像中的每一個像素，這樣的程序產生在灰階上變化降低的影像。高斯濾波，平均濾波器的核每一個值都是相等，而高斯平滑濾波器的核內的數卻是呈現高斯分布的；時間濾波器係係用於根據先前捕獲的幀調整深度值並跟踪不同的像素數據，指通過幀操縱每個像素值來改善深度數據的持久性，過濾器對數據執行一次遍歷，調整深度值，同時還更新跟踪歷史記錄，如果像素數據丟失或無效，則過濾器使用用戶定義的持久性模式來決定是否應使用存儲的數據校正。

【0022】 較佳地，步驟S131及步驟S231中所述之圖義標籤，係利用訓練智能AI進行圖形辨識技術，如模板匹配(Template matching)，係將所有輸入信息與物件的多個表徵進行比較，以形成單個概念性理解來形成圖義，例如定義多個特徵為狗之特徵後，經訓練之智能看到圖片中狗的特徵進行比較後，判斷其圖義標籤為狗，但不以此為限。

【0023】 較佳地，二維圖像檔案格式可為為點陣圖格式(BMP，BitMaP)、聯合圖像專家小組格式(JPEG，Joint Photographic Experts Group)或標籤影像檔案格式(TIFF，Tagged Image File Format)，但不限於此。

【0024】 較佳地，該對象演算法係選自目標檢測法(object-detection)、目標分割法(instance segmentation)或關鍵點檢測法(key point detection)。

【0025】 具體而言，目標檢測法，目標檢測模型可識別多個物體，並可以定位出不同物體及邊界框，其中，目標檢測法其深度學習方法，係為先由演算法生成一系列作為樣本的候選框，再通過卷積神經網路進行樣本分類；目標分割法(instance segmentation)或稱例項分割，係為目標檢測法與語義分割法的結合，有關語義分割法後文將有描述，因此其需先定義出不同例項，即使它們是同一種類，再進行目標檢測；關鍵點檢測法或稱特徵點檢測法，當圖像的特徵點被檢測出來之後，就可以進行對特徵點進行匹配，根據相似級別判斷。

【0026】 較佳地，該圖像處理技術之選擇係依所使用者需求，於一實施例中，使用者希望保留有關物件內之邊緣或線條的詳細資訊，則將應用邊緣檢測演算法。

【0027】 較佳地，該第二三維點雲信息具有至少一表面顏色觸覺信息，該表面顏色觸覺信息係依該二維圖像之顏色建構，在本發明之一實施例中，該表面顏色觸覺信息係為複數個表面觸紋所組成，係依不同觸紋排列方式定義表面顏色，視障者可依觸摸表面紋路變化比對該紋路所定義之顏色，以得知該部位之顏色，於本發明之一實施例中，表面觸紋以不同幾何形狀代表不同顏色，例如以正方形幾何形狀代表紅色，以圓形幾何形狀代表綠色，以三角形幾何形狀代表藍色，但不以此為限。

【0028】 在本發明之一實施例中，該表面顏色觸覺信息係為複數個顏色盲文觸點，視障者可依觸摸表面盲文以得知該部位之顏色，於本發明之一實施例中，以R之盲文觸點代表紅色，以G之盲文觸點代表綠色，以B之盲文觸點代表藍色，但不以此為限。

【0029】 較佳地，該盲文標籤使用自然語言處理和不同盲文字典，於一實施例中，係將英語標籤轉換為不同的語言和不同的盲文類型，例如中文注音、菲律賓語或日語等，但不限於此。

【0030】 較佳地，該盲文觸點係透過漸變濾鏡(Gradient Filter)以將盲文觸點生成為圓形而不是最初形成的銳角。

【0031】 在本發明之一實施例中，表面顏色觸覺信息係為複數個表面觸紋所組成，係依不同觸紋排列方式定義顏色，視障者可依觸摸表面紋路變化比對該紋路所定義之顏色，以得知該部位之顏色。

【0032】 在本發明之一實施例中，表面顏色觸覺信息係為複數個顏色盲文觸點，視障者可依觸摸表面盲文以得知該部位之文字，進而能得知每個部位之顏色。

【0033】 較佳地，該圖像分割係為實例分割法(Instance segmentation)、語義分割法(Semantic Segmentation)或全景分割法(panoptic segmentation)，但不以此為限；其中，實例分割係指在Faster-RCNN上，分類加回歸分支中加入語義分割，將輸入圖像送入到特徵提取網路得到特徵圖後，對特徵圖的每一個像素位置設定ROI(或稱Anchor)，接著將ROI區域送入RPN網路進行前景和背景分類以及坐標回歸，以獲得目標的ROI區域，接著對上個步驟中獲得的ROI區域執行例如ROIAlign操作，意即將原圖和特徵圖(feature map)的像素對應，然後將特徵圖和固定的特徵對應起來，最後對這些ROI區域進行多類別分類，候選框回歸和引入FCN生成遮罩，以完成分割任務；語義分割法係為輸入圖像進行預分類，調整演算法引數為語義資訊相同或近似的小區域進行分配相同之語義標籤，顏色相近、紋理相近，且位置接近的像素，分配相同的語義標籤，接著使用深度學習結合自動編碼器結構進行分類，將具有相同語義標籤的小區塊合併成大區塊；全景分割具體而言係為語義分割加上實例分割，要求圖像中的每個像素點都必須被分配給一個語義標籤和一個實例。

【0034】 在本發明之一實施例中，該圖像分割係使用實例分割法進行分割，以創建“人像”效果並分離前景及背景；該遮罩圖像將刪除背景資訊，以便將重點放在主要主題上，也就是說，該遮罩圖像僅有主要主題。

【0035】 較佳地，該表面重建處理係為三角剖分算法(triangulation algorithm)、移動立方體算法(Marching Cubes Algorithm)或構造實體幾何算法(Constructive Solid Geometry)，但不以此為限；其中，三角剖分算法係對點雲做平面內的三角化得到各點之間的拓撲關係，並依據投影點雲的連接關係確定各原始三維點之間的拓撲連接；移動立方體算法係找出與等值面相交的像素，用一個大的長方體包住目標物，並將整個長方體分成一模一樣的小長方體，分別判斷小立方體之頂點是否位於目標物體的內部，若某個頂點在物體內部，則給頂點標上一個0，若頂點在物體外部，則給頂點標上1，在判斷出八個頂點的“0”和“1”之後，藉由排列組合在每一種情況可以在小立方體內生成一些等值面；構造實體幾何算法是一種基於簡單實體的布爾運算構型的複雜模型型的技術，即通過對多個簡單的點模型進行布爾運算後生成複雜的點模型，通過對簡單的實體做並集，交集以及補集運算，以產生實體模型。

【0036】 較佳地，該觸覺照片列印格式資料係為標準模版庫(STL，Standard Template Library)、虛擬實境建模語言(VRML，Virtual Reality Modeling Language)或G碼(G-code)，但不以此為限。

S101~S106:第一實施例處理步驟

S121~S122:第一實施例之第一程序步驟

S131~S133:第一實施例之盲文編碼程序步驟

S141~S144:第一實施例之第二程序步驟

S201~S206:第二實施例處理步驟

S221~S223:第二實施例之第一程序步驟

S231~S233:第二實施例之盲文編碼程序步驟

S241~S244:第二實施例之第二程序步驟