隨着王老師領着衆人從機房回來,屋內頓時一陣寒暄。
喻林卻似乎沒有聽見,對着大家的招呼,她只是揮了揮手,表示自己已經打過招呼,便繼續低頭編寫規則。
她必須承認,餘江給的方案很簡單,而且似乎一聽就很有效!
沒多久,她便迅速優化完規則,開始上傳代碼。
隨後,她打開tianwang,隨便輸入了幾個之前一直困擾她多時的歧義詞進行搜索。
“餘神!”
她轉身大喊,卻發現所有人都一臉驚詫地盯着她看。
“人呢?”
“走了。
“我靠......大哥們,你們怎麼能讓他走的!”
幾個男生互相對視,無比驚訝:“難道留人家喫飯?聚餐你買單啊?”
“我買啊!”
喻林猛地拍着辦公桌:“閆哥,這傢伙是個寶藏!”
餘江順路在雁南食堂喫過晚飯,隨後趕往公司。
雖然沈予慧再有“成長”的願望,累計上線突破十五萬,他也理應到場。
一個月不見,慧江科技已經大變樣。
前臺已經有人,還是個漂亮小妹,工位區擴充了一倍有餘,最左邊被隔出來的客服區更是坐滿了人。
餘江心中樂了一個。
看來一切都好,就是加班有點嚴重。
一路安靜地穿過工位區,餘江走到沈予慧辦公室的門前。
剛準備敲門,他就聽到虛掩的房門內傳來王小川的聲音:“那我要不要給老闆說一下?”
“這肯定要說的。”
餘江微微一愣,也不管時機恰當不恰當,叩了兩下後直接推開房門。
只見王小川坐在長沙發上,沈予慧則坐在另一邊,見他進門,同時朝他望來。
“剛聽到一句,川哥說要跟我說什麼?”
餘江走到王小川身邊坐下,問了一句後又望向沈予慧。
沈予慧衝他笑了一笑。
“小川說,新學期開學,他們那邊兼職的可能強度就沒辦法像之前那麼大了。”
餘江偏頭看着王小川,後者無奈一笑:“你應該能理解吧?”
“倒是能理解,但怎麼我有種感覺是打一槍就跑呢?”餘江瞥着他,語氣有些不爽:“特別是錢文傑那傢伙………………”
“哈哈哈,你知道他和許一城是要留學的,下半年就大四,也該做準備了啊。”
餘江就皺了皺眉。
但他能說什麼?
就算是後世,對有留學經歷的技術人才都高看一眼,別說現在了。
只能說人各有志。
“沒事,只要你不走就行。”
“那你也不能把我當全職使喚啊!”王小川哭笑不得:“我這才研二,還稍微可以輕鬆點,到了研二研三還得忙課題。"
餘江點了點頭。
搞遊戲不比搞網站,是需要高度交流的,找一幫全兼職的,在需求明確的情況下沒問題。但如果要推進一個新項目,那交流成本就有點過高了。
“這樣,傳奇項目因爲你們熟悉,後續就還是讓他們先接手搞起走,文檔寫好,註釋寫好就行。”
王小川一口答應:“這沒問題。”
“那就OK。”
餘江把王小川送到走廊,這才轉身走進辦公室。
隨後,他關上房門。
沈予慧坐在沙發上,認真地看着他。
餘江道:“等到收費,我們就應該是一家正規的集遊戲開發和運營於一體的公司,確實不能指望兼職學生來攻城略地了。”
沈予慧便嘆了口氣。
“別嘆,公測一週就突破15萬在線,然後還有地推陸續發力,到年底你說幹到50萬都相信——你知道那是什麼概唸吧?”
沈予慧笑了一笑——她早就想過這個數字意味着什麼。
“所以,我有個想法。”餘江望着沈予慧:“我今天被系主任拉進了天網課題組,簡單瞭解了一下,課題組窮得要命,而且技術上完全無法和商業公司抗衡。”
沈予慧一怔:“然後呢?”
“過幾個月,你看能不能和課題組聯繫,搞產學研合作。”
餘江微眯着眼,輕聲道:“現在百度還在襁褓中,谷歌雖然強,但谷歌不懂中文——中文的精髓在於分詞技術,這是老外沒有的麻煩。”
“你懂?”
“我可太懂了!”餘江輕輕呼氣:“現在搞搜索引擎最大的難點是人才奇缺,只要和天網勾搭上,我們再依靠Lai123的流量,未必不能壓谷歌和百度一頭!”
“更重要的,是今後AI訓練要很多語料,不搞搜索引擎不行的。”
聽到餘江又提到AI訓練,沈予慧就知道他這是要做長遠打算了。
於是她慢慢點頭。
“搞!多少錢都搞!”
第二天,正式上課。
昨晚他就接到了導員的通知,說系裏決定以研代考,讓他直接去實驗室即可。
於是第二天,餘江悠哉地騎着自行車,早上九點半才晃悠悠地來到實驗室。
他可太懂工科實驗室了。
一一晚上隨便熬,上午能十點到那都算早的!
不出他所料,只有閆師兄一人在場。
“早。”
閆師兄二十七八歲的模樣,頭髮稀少,見到餘江先打招呼。
“師兄早。”
餘江坐到老爺機前,按下電源,風扇便瘋狂轉動。
這十年老拖拉機的動靜,他敢打賭,那塊賽揚566都應該屬於“升級”。
“師兄啊......你們是用的什麼電腦呢?”
“奔川800。”
見餘江一副生無可戀的表情,閆師兄呵呵笑道:“你來晚了一點,本來有多的,後面老闆感覺集羣太喫力,就把那臺奔3的放機房去了。”
“你們機房沒用專門的服務器啊?”
“是啊,全用的臺式做集羣......所以你知道我們條件多艱苦了吧?”閆師兄搖了搖頭:“去年有人畢業證都不要就直接跑路了,實在受不了這玩意。”
餘江:“......是夠艱苦的。”
這會電腦已經打開,餘江迅速輸入密碼,打開arXiv。
現在arXiv上佔位性質的論文很多,但也能看到高質量、高數量且最新的論文。
這邊,閆宏飛見他快速地用鼠標劃拉着篇幅,幾乎幾分鐘就把一篇全英文的論文看完,隨後又打開另外一篇後,眼中驚訝頓升。
他這是讀論文,還是在看網文?
懷着疑惑,閆宏飛起身,慢慢走到餘江身後。
只見餘江正在閱讀一篇關於玻爾茲曼機的論文。
看得出來,餘江看得很認真,但他翻頁的速度依舊極快!
甚至閆宏飛都只來得及看清楚一個公式,餘江就又翻頁了!
閆宏飛只感覺頭皮一陣發麻:“你看完了?”
“嗯。”餘江回頭,見閆宏飛滿臉驚恐,馬上意識到對方可能被自己看論文的速度嚇到了,連忙解釋道:“就隨便翻了一下。”
閆宏飛卻只是搖了搖頭。
他當然願意相信餘江只是隨便翻了一下。
但隨便翻的狀態,和認真的,快速看的狀態,又怎會一樣?
他又聯想到這傢伙恐怖的分數………………
沉默了幾秒,他又想到昨天喻林的話。
“師弟,你對爬蟲瞭解多少?”
餘江回頭:“瞭解了一點點,怎麼?”
“就是即便加了節點,並行抓取也是重複,而且很慢。”閆宏飛望着餘江:“有思路沒?”
餘江微微皺眉。
這位師兄好像是博一......
“嗯......師兄肯定去重沒問題......”餘江一邊說着一邊觀察閆宏飛的表情,“要不我看看日誌?”
閆宏飛點頭,隨即打開日誌。
餘江從旁邊拉過凳子,迅速查看日誌。
爬蟲這玩意誰沒玩過啊——他當初寫的驗證lai123鏈接網站的小工具,如果加一道分析,就可以算爬蟲了。
“師兄用的文件列表?”
“也試過HashSet去重,但很快就爆內存。”
“URL隊列問題確實難搞。”餘江點頭,安靜地思索了片刻。
閆宏飛也耐心地等待,只是眼神略有閃爍。
“HashSet在URL總量過高的時候確實會佔用大量內存,文件列表喫I/O。
閆宏飛就嘆了口氣,他的辦法是平均負載,但終歸治標不治本。
餘江轉頭望着閆宏飛。
“要不試試全局去重?”
閆宏飛一怔:“怎麼全局,什麼架構?”
“引入一個輕量Master節點,專門維護一個全局Bloom Filter做去重。”
“位數組大小按我們當前幾千萬網頁規模留足餘量,用幾個獨立哈希函數,誤判率控制在千分之五以內就夠用。Worker節點本地先快速過濾,新提取的URL再批量通過TCP發給Master確認。”
“關鍵是per-host back queues: Master按主機名hash分桶,每個主機維護一個FIFO隊列和一個下次可抓時間………………”
“......Master本身用輕量內存結構,也沒什麼瓶頸。”
餘江一邊思索,一邊慢慢地給出方案。
他同時也感慨。
這些在後世幾乎算是搜索引擎入門教科書一般的解決方案,在現在卻是攔路虎一般的存在。
閆宏飛認真地聽着,最後猛地望向餘江。
“你之前幹過?"
閆宏飛死死地盯着餘江。
他完全不信,一個沒有幹過搜索引擎的人,會在這麼短時間內就給出近乎完整的解決方案!
餘江輕輕咳了咳:“玩過爬蟲,也玩過分佈式......但分佈式爬蟲沒玩過。”
“我暈!你上哪裏玩的?”
餘江一陣無語。
知道不把這幫師兄們震住,怕是每天都要問個不休了。
“師兄,非得要我說,我有個非常有錢的姐,她手底下有上百臺PIII志強服務器嗎?”
“靠!”
閆宏飛猛地起身。
這時,徐飛和彭波也正好進門。
“你倆來得正好!趕緊把他按住!”
二人同時一驚。
“閆哥你要幹啥?”
閆宏飛是一愣,似乎也不知道自己起身幹啥。
但他很快轉頭望向餘江。
“師弟,能把你介紹給師兄嗎?”