高數(shù)解題神器：拍照上傳就出答案，這個中國學(xué)霸做的AI厲害了
銅靈 曉查 發(fā)自 凹非寺
量子位 出品 | 公眾號 QbitAI
一位叫Roger的中國學(xué)霸小哥的拍照做題程序mathAI一下子火了，這個AI，堪稱數(shù)學(xué)解題神器。
輸入一張包含手寫數(shù)學(xué)題的圖片，AI就能識別出輸入的數(shù)學(xué)公式，然后給出計算結(jié)果。
不僅加減乘除基本運算，就連高等數(shù)學(xué)中的微積分都不在話下。
就像下面這樣：
還在苦苦糾結(jié)高數(shù)作業(yè)如何求解？還在東奔西走的找學(xué)霸借作業(yè)？手握mathAI，不就是手握了新時代的解題利器么！
短短幾天時間，這個項目在微博就收獲了上百次轉(zhuǎn)發(fā)。看到畫風(fēng)如此新奇，似乎還能開啟無限可能應(yīng)用，網(wǎng)友們紛紛召喚自己的印象筆記小助手收藏，大呼：牛逼，以后教寶寶數(shù)學(xué)就是它了。
作者表示，這個項目已經(jīng)是半開源狀態(tài)了，目前開源的部分可以識別計算加減乘除簡單運算。
如果想要識別更加復(fù)雜的表達(dá)式，可以參考數(shù)學(xué)公式識別的論文自己進(jìn)行擴(kuò)展。
具體來看看這個解題神器。
實現(xiàn)過程
全能型選手mathAI是怎么實現(xiàn)這個功能的？
作者在Github中介紹說，整個程序使用python實現(xiàn)，具體處理流程包括：圖像預(yù)處理→字符識別→數(shù)學(xué)公式識別→數(shù)學(xué)公式語義理解→結(jié)果輸出。
整個系統(tǒng)的處理流程如下：
圖片預(yù)處理主要以O(shè)penCV作為主要工具，將圖片中的字符單獨切割出來，避免無關(guān)變量對字符識別的影響。
隨后，國際數(shù)學(xué)公式識別比賽數(shù)據(jù)集（CROHME）對通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。
此外，還進(jìn)行結(jié)構(gòu)分析，對字符的空間關(guān)系進(jìn)行判定。比如一個字符的上標(biāo)和下標(biāo)，含義自然不一樣。
在語義分析階段，就需要匯集上面得到的信息，判斷運算該如何進(jìn)行了。節(jié)點屬性傳遞過程如下圖所示：
作者在用160道手寫測試題進(jìn)行了測試：
結(jié)果表明，平均字符識別率達(dá)到了96.23%，且系統(tǒng)做題的平均正確率達(dá)到了79.38%。
上手實操
來，實際上手操作下。
作者給出兩種使用模式：網(wǎng)頁模式和接口模式。接口模式比較直觀，只需打開網(wǎng)頁上傳圖片即可自動給出解題結(jié)果。
下面以接口模式為例介紹一下mathAI的安裝使用方法。
首先需要安裝flask、虛擬環(huán)境、科學(xué)計算庫numpy、sympy等，它們都可以用pip安裝。
將項目的lib.zip文件解壓到系統(tǒng)目錄的venv文件夾下。（lib.zip可以回復(fù)lib獲?。?/p>
配置置好運行環(huán)境后，用PyCharm打開下載好的項目，在載入過程中，PyCharm會自動安裝好項目依賴的軟件庫。
使用命令行進(jìn)入項目所在目錄，并啟動虛擬環(huán)境：
將FLASK_ENV環(huán)境變量設(shè)置為啟用開發(fā)模式：
然后使用指令運行flask網(wǎng)站框架:
打開瀏覽器，在地址中輸入127.0.0.1:5000，即可打開項目網(wǎng)頁。在網(wǎng)頁中輸入一張包含數(shù)學(xué)公式的圖片，就好返回運算結(jié)果。
目前GitHub項目頁上的代碼只支持加減乘除這樣的簡單運算。
中國少年
做出這個自動求解系統(tǒng)的，還是一位中國少年。
這位GitHub ID為Roger，本名羅文杰，是中山大學(xué)數(shù)據(jù)科學(xué)與計算機學(xué)院的研一在讀碩士生，主要攻讀計算機視覺方向。
不僅這個解題神器，在小哥哥的GitHub主頁上還能看到其此前參與的很多有趣研究。
比如這個基于帖子的校園互助交友平臺LiBond。用戶可以在里面發(fā)布任務(wù)，然后使用虛擬幣荔枝進(jìn)行交易。
羅同學(xué)的設(shè)想是，有空閑時間的同學(xué)可以在此平臺上幫助他人，然后結(jié)交好朋友，荔枝幣還能用來兌換喜歡的物品。
再比如，一個基于C++的無禁手五子棋AI，可以通過openGL實現(xiàn)圖形界面。
在這個項目中，羅同學(xué)使用了最經(jīng)典的極大極小博弈樹、alpha-beta剪枝、置換表等算法，還附上了核心代碼。
確認(rèn)過眼神，是學(xué)霸無疑了。
傳送門
最后，附上神器的Github地址：
https://github.com/Roujack/mathAI
里面還附有Demo使用的word、ppt和視頻教程~
相關(guān)閱讀
