產品設計開發手冊（產品設計內容審核中臺）

2023-04-20 22:40:56

編輯導語：每個產品設計完成後都需要進行內容審核，一些公司想要對自己生產的內容進行審核往往會選擇對接第三方產品進行審核。這篇文章介紹了第三方審核產品功能、如何搭建審核中臺以及業務如何對接審核，一起來看看吧。

市面上有很多非常成熟的內容審核的雲服務產品，比如阿里雲、騰訊雲服務等。一些非此領域的公司，如果要對本身產生的內容進行審核，往往會對接一些成熟的第三方產品。

一、第三方審核產品功能簡介

市面上的審核媒資，主要是文本、圖片、音頻和視頻。

1. 相關技術簡介

（1）文本審核

對於文本的處理主要是採用了NLP（自然語言處理）技術，將語句通過語法分析、情感分析、詞向量分析等技術進行識別和歸類，再與平臺本身的素材庫進行比對，返回匹配的結果。比如涉政內容識別、廣告內容識別、垃圾內容識別等。

（2）圖片審核

圖片審核有兩種審核方式，一是通過圖片的MD5與素材庫中的MD5進行比對從而獲得審核結果，二是通過CNN（卷積神經網絡）技術進行特徵提取、各部分特徵匯總以及產生分類器從而預測識別來進行審核。

（3）音頻審核

音頻的處理，是先通過ASR（語音識別）將音頻經過降噪、斷句處理成文字，然後再通過文本審核對其進行處理。

（4）視頻審核

視頻審核實則是通過抽幀技術，對視頻進行抽幀頻率的設定，然後對視頻中的圖片進行圖片審核。或者對視頻的MD5與素材庫已有的MD5進行比對從而獲得審核結果。視頻中的音頻審核同上。

2. 第三方審核產品

審核平臺往往會在籤約後提供對應的後臺系統和API接口，包括如下的內容：

（1）後臺系統

模版配置模塊：根據不同的審核規則，配置不同的審核模版。黑白名單：可以將審核平臺沒有檢測到的素材加入黑名單或者白名單進行特殊處理。內容模塊：對請求的內容和結果進行記錄和查詢。

（2）API接口

公司接入第三方時，先在第三方後臺配置對應的模版和審核規則，後續通過三方提供的API接口進行審核的調用。以上就是第三方審核產品主要提供的服務。

二、審核中臺的搭建

審核公司的模版會提供接入文檔。仔細調研文檔，或者和第三方的產品或者技術支持對接審核流程，確定流程。

比如雲點播的視頻，需要先進行視頻的上傳後，才能進行對應的審核，而且審核是以任務的形式進行審核的。

定型的規則，可以中臺系統進行處理，如果基於業務規則不同，那麼就講規則交由業務系統進行處理。

1. 審核中臺的意義

隨著公司業務高速發展，逐漸有很多內容需要過審，又由於這些審核需求需求高度相似，重複的開發建設，導致復用性低、產研資源浪費。於是產品化的提供一個審核中臺服務是非常有必要的。

2. 審核系統的搭建

所謂大中臺小前臺。中臺作為業務服務的提供方，不需要過度依賴業務，而是需要不斷為新業務提供能力支持。所以主要考察的是產品的抽象整合能力。

在調研了公司業務需求和第三方審核功能後，確定了整體的業務流：

圖1：審核業務流程圖

從審核中臺出發，搭建審核後臺系統，應包括以下模塊：

圖2：系統模塊拆解圖

（1）搭建審核後臺系統

系統分為兩部分，一是配置模塊，二是內容模塊。

①配置模塊

業務配置：針對每種接入的業務，需要進行對應的配置，比如業務本身審核的平臺規則，請求第三方審核的策略配置。還有審核員審核的時候領取規則的配置等。

帳號角色配置：針對系統的操作人員，配置不同的角色範圍和業務範圍。比如某審核員只能審核業務ABC對應的內容，此處可以進行配置。

參數配置：系統產品規則的一些靈活配置項。

②內容模塊

設計的時候是按照漏鬥設計了兩個池子，一個是機審池，另一個是機審完如果需要人審進入人審的池子。儘管兩個數據池內容有所差異，但具體的展示並無明顯差異。都包括：

審核狀態：審核中、通過、駁回，具體根據公司業務來設計。駁審核依據：此處可以按照平臺規則進行抽象出一套模版，如涉政，涉黃，涉暴等。也可以直接採用第三方結果進行展示。操作：大致的操作包括領取，審核，釋放，可能還會涉及到分配。

（2）數據報表

數據報表部分主要是對審核內容進行統計，可以進行後續的算法優化或者人員審核效率的考量標準。

以上就是基於第三方服務，公司內部的審核中臺搭建的具體實例。

三、業務如何對接審核

拿做過的評論審核進行舉例。

我們公司的審核之前是沒有接入內容審核的，都是審核員全部過一遍。後來由於量逐漸起來以後，業務方要求接入內容審核。

於是我在思考如何基於現有業務和內容審核系統進行融合，使現在的系統變化最小，同時完成業務方的審核要求。舉個簡單的審核流程圖為例：

圖3：評論審核流程圖

總的來說，就是要：

確定這個業務，是先發後審，還是先審後發。考慮到用戶評論是個實時操作，所以做的是先發後審。

是否需要進行機審或者人審，審核策略是什麼樣的。因業務團隊要求，我們的評論機審過後，還需要進入人審。如果 N分鐘沒有拿到機審結果，評論按照機審通過進行處理，後續進行人審覆審。

當拿到機審結果後，業務系統就可以對評論進行操作了，比如說評論回復等。此處不再贅述業務系統對評論本身的操作功能。

業務系統是否反覆接收審核處理。比如說評論，會對機審和人審同時響應並修改評論狀態，業務系統也必須在拿到機審結果以後再對評論進行後續操作。諸如此類也都是業務系統接入內容審核系統時需要說明的。

以上就是審核中臺搭建以及業務接入的完整鏈路。

本文由@把個脈吧 原創發布於人人都是產品經理，未經許可，禁止轉載。

題圖來自Pexels，基於CC0協議

,