Python爬蟲如何獲取小區經緯度以及結構化地址?
一般社區的經緯度信息不會包含在網頁中,可以不能通過使用Python爬蟲直接獲得。可以先獲取小區名稱,然后借助某個地圖API間接獲取經緯度信息。下面我簡單介紹一下實現過程,有興趣的朋友可以試試:
1.首先,注冊一個地圖開發者。用自己的賬號登錄即可。點擊"控制臺和并切換到管理頁面,如下所示:
2.然后創建一個應用程序。這里我們根據像元名稱得到經緯度信息,這是一個正向地理編碼的過程,所以需要選擇應用類型為服務器,如下,自己設置應用名稱即可:
3.創建完成后會自動跳轉到應用管理頁面,如下,這里我們需要記住這個AK值,后面的Python程序會用這個AK值訪問API接口:
4.至于使用,這里的官方文檔有詳細的描述,包括請求參數,返回結果等。如下,有具體的解釋和例子。如果你有一定的編程基礎,熟悉文檔,應該思路清晰,可以直接寫代碼:
5.測試代碼如下,非常簡單。它主要構造輸入參數,包括地址、ak和輸出。輸出結果是一個json對象,可以通過直接解析獲得經緯度信息。如下,更多參數描述可以參考官方文檔,非常清楚:
程序截圖如下,已成功獲取社區(街道)的經緯度信息。為了更準確地定位,建議輸入詳細的地址信息:
至此,我們已經完成了使用Python獲取社區的經緯度信息。總的來說,整個過程很簡單。只要熟悉以上流程,很快就能掌握。我建議仔細閱讀官方文件,你可以獲得更多有用的信息。當然,也可以通過反向地理編碼,即根據經緯度,得到小區(街道信息)信息。網上也有相關教程。有興趣的可以搜一下。希望上面分享的內容能對你有所幫助。也歡迎大家評論和評論。
可以使用百度api或者其他地圖API,通過社區名稱獲取社區的地址和經緯度。但由于API返回的值中的地址形式不同,我們可以先爬取社區名稱來獲取社區的經緯度,再用經緯度反推得到社區的結構化地址。此外,如果社區名稱是...數量和數量。;,可以在數字后面加一個四合院在爬蟲啟動之前,準確率更高。這次寫入程序更方便二次使用,只需傳遞一個datafram
有了python和前端基礎,有什么python爬蟲書推薦?
你需要了解的技術包括但不限于Python編程語言和HTTP協議。討論(TCP/IP協議棧)、數據庫、Linux等知識。
Python簡介:《AByteofPython》
HTTP簡介:《圖解HTTP》
數據庫介紹:《MySQL必知必會》
Linux簡介:《快樂的Linux命令行》
規律性介紹:《精通正則表達式》
還有一本專門介紹爬行動物的書:《《用Python寫網絡爬蟲》》。
跟小卡特學Python是一本非常好的學習Python的書。