崗位職責： 負責設計和開發高性能、高可用的分布式網絡爬蟲系統，保障數據采集的效率和穩定性； 使用Elasticsearch構建搜索和分析系統，實現海量數據的快速檢索與聚合； 基于MongoDB/Redis設計數據存儲方案，優化數據庫性能及查詢效率； 對接阿里云OSS等對象存儲服務，管理非結構化數據資源； 參與LLM（大語言模型）相關項目的開發，包括數據預處理、特征工程及API集成； 持續優化系統架構，解決高并發、分布式場景下的技術難題。 任職要求： 本科及以上學歷，計算機相關專業，3年以上Python開發經驗； 精通Scrapy/Requests/BeautifulSoup等爬蟲框架，熟悉反爬機制破解（驗證碼識別、IP代理等）； 熟練掌握以下至少兩種數據庫技術： Elasticsearch（索引設計、分詞優化、聚合查詢） MongoDB（副本集、分片集群、聚合管道） Redis（數據結構、持久化、集群模式） 熟悉阿里云OSS/S3等對象存儲服務，了解文件分片上傳和CDN加速； 有LLM項目經驗者優先（如：LangChain應用、RAG系統開發、Prompt工程等）； 熟悉分布式系統設計，了解Celery/Dask等異步任務框架； 良好的編碼習慣，能獨立完成技術方案設計和文檔編寫。