10分鐘用Python快速搭建全文搜索引擎詳解流程
有一個(gè)群友在群里問(wèn)個(gè)如何快速搭建一個(gè)搜索引擎,在搜索之后我看到了這個(gè)
代碼所在
- Git:https://github.com/asciimoo/searx
官方很貼心,很方便的是已經(jīng)提供了docker 鏡像,基本pull下來(lái)就可以很方便的使用了,執(zhí)行命令
cid=$(sudo docker ps -a | grep searx | awk '{print $1}') echo searx cid is $cid if [ "$cid" != "" ];then sudo docker stop $cid sudo docker rm $cid fi sudo docker run -d --name searx -e IMAGE_PROXY=True -e BASE_URL=http://yourdomain.com -p 7777:8888 wonderfall/searx
然后就可以使用了,正常查看docker的狀態(tài),就可以正常的使用了
思考
怎么樣,是不是很方便,我們先看看源碼是怎么樣實(shí)現(xiàn)的
我們打開(kāi)里面的代碼,其實(shí)本質(zhì)就是將request之后的結(jié)果做一個(gè)大的聚合,至于數(shù)據(jù)來(lái)源,我們可以是來(lái)于DB,或者文件,我們可以看一下他的核心代碼
from urllib import urlencode from json import loads from collections import Iterable search_url = None url_query = None content_query = None title_query = None suggestion_query = '' results_query = '' # parameters for engines with paging support # # number of results on each page # (only needed if the site requires not a page number, but an offset) page_size = 1 # number of the first page (usually 0 or 1) first_page_num = 1 def iterate(iterable): if type(iterable) == dict: it = iterable.iteritems() else: it = enumerate(iterable) for index, value in it: yield str(index), value def is_iterable(obj): if type(obj) == str: return False if type(obj) == unicode: return False return isinstance(obj, Iterable) def parse(query): q = [] for part in query.split('/'): if part == '': continue else: q.append(part) return q def do_query(data, q): ret = [] if not q: return ret qqkey = q[0] for key, value in iterate(data): if len(q) == 1: if key == qkey: ret.append(value) elif is_iterable(value): ret.extend(do_query(value, q)) else: if not is_iterable(value): continue if key == qkey: ret.extend(do_query(value, q[1:])) else: ret.extend(do_query(value, q)) return ret def query(data, query_string): q = parse(query_string) return do_query(data, q) def request(query, params): query = urlencode({'q': query})[2:] fp = {'query': query} if paging and search_url.find('{pageno}') >= 0: fp['pageno'] = (params['pageno'] - 1) * page_size + first_page_num params['url'] = search_url.format(**fp) params['query'] = query return params def response(resp): results = [] json = loads(resp.text) if results_query: for result in query(json, results_query)[0]: url = query(result, url_query)[0] title = query(result, title_query)[0] content = query(result, content_query)[0] results.append({'url': url, 'title': title, 'content': content}) else: for url, title, content in zip( query(json, url_query), query(json, title_query), query(json, content_query) ): results.append({'url': url, 'title': title, 'content': content}) if not suggestion_query: return results for suggestion in query(json, suggestion_query): results.append({'suggestion': suggestion}) return results
結(jié)果
每個(gè)response的時(shí)候我們都要以輕松的定制返回的數(shù)據(jù)(可以是網(wǎng)絡(luò),可以是數(shù)據(jù)庫(kù),可以是文件),那我們進(jìn)一步想一下,如果我們可以hack response 結(jié)果,那我們完全可以將自己爬來(lái)的數(shù)據(jù)做為返回結(jié)果。如果是1024之類(lèi)的,完全可以打造自己的“愛(ài)好”小引擎,代碼我就不貼了,大家可以自己動(dòng)手自己玩玩。結(jié)合jieba分詞,可以更好玩一點(diǎn)。
到此這篇關(guān)于10分鐘用Python快速搭建全文搜索引擎詳解流程的文章就介紹到這了,更多相關(guān)Python 搜索引擎內(nèi)容請(qǐng)搜索本站以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持本站!
版權(quán)聲明:本站文章來(lái)源標(biāo)注為YINGSOO的內(nèi)容版權(quán)均為本站所有,歡迎引用、轉(zhuǎn)載,請(qǐng)保持原文完整并注明來(lái)源及原文鏈接。禁止復(fù)制或仿造本網(wǎng)站,禁止在非www.sddonglingsh.com所屬的服務(wù)器上建立鏡像,否則將依法追究法律責(zé)任。本站部分內(nèi)容來(lái)源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來(lái),僅供學(xué)習(xí)參考,不代表本站立場(chǎng),如有內(nèi)容涉嫌侵權(quán),請(qǐng)聯(lián)系alex-e#qq.com處理。