开源公开的学术文献下载网址

✅ 国际主流开放获取学术平台（可爬取 PDF）

平台名	链接	说明
arXiv	https://arxiv.org	物理、数学、计算机科学、生物、金融等领域的预印本论文，最广泛使用的开源平台
bioRxiv	https://www.biorxiv.org	生命科学领域的预印本平台，与 arXiv 类似
medRxiv	https://www.medrxiv.org	医学和健康相关的预印本平台，与 bioRxiv 同属 Cold Spring Harbor
DOAJ	https://doaj.org	Directory of Open Access Journals，涵盖各学科的开放获取期刊全文
PubMed Central (PMC)	https://www.ncbi.nlm.nih.gov/pmc/	美国国家医学图书馆提供的医学、生命科学论文，支持全文搜索与下载
HAL	https://hal.archives-ouvertes.fr	法国国家科研中心主导的跨学科论文开放平台
CERN Document Server (CDS)	https://cds.cern.ch	欧洲核子研究中心的论文、报告、会议材料等（物理为主）
SSRN	https://ssrn.com	社会科学和人文科学的开放获取预印本平台，经济、法律、管理为主
OpenAIRE	https://www.openaire.eu	欧盟资助的开放获取科研成果平台，支持多语言搜索
Zenodo	https://zenodo.org	CERN 和欧盟合作的开放科学资料库，支持论文、数据集等存储
ePrints Soton	https://eprints.soton.ac.uk	英国南安普顿大学的开放论文平台，ePrints 是一类开源系统
Open Access Thesis and Dissertations (OATD)	https://oatd.org	提供全球开放硕博论文的索引和部分全文下载

✅ 国内开放获取平台

平台名	链接	说明
中国科学院机构知识库网格系统（CAS IR Grid）	http://www.irgrid.ac.cn	中科院各研究所开放论文平台，含部分全文
中科院文献情报中心 OA平台	https://www.escience.org.cn	集成国内外开放论文资源，支持统一检索
学术志（学术资源导航）	https://www.ixueshu.com	聚合性平台，可查阅部分免费文献（需甄别版权）
国家哲学社会科学文献中心（NSSD）	https://www.ncpssd.org	社科文献平台，部分资源可开放访问
中国开放获取期刊平台（OAJRC）	https://www.oajrc.org	新兴中文开放获取期刊平台

✅ 开放科研数据和图书平台（部分含论文）

名称	链接	说明
Internet Archive – Scholar	https://archive.org/details/opensource	含开放论文、技术书籍、文档等
Project Gutenberg	https://www.gutenberg.org	虽以文学为主，但也有部分开放科技文献
CORE	https://core.ac.uk	聚合全球范围的开放获取研究论文
ResearchGate（部分公开）	https://www.researchgate.net	作者上传论文（可通过作者公开版本下载）
Semantic Scholar（部分公开）	https://www.semanticscholar.org	学术搜索引擎，部分链接到可公开PDF
Academia.edu（部分公开）	https://www.academia.edu	作者自行上传，需登录查看/下载

🚫 不推荐爬虫使用的平台（因授权/防爬）

平台	原因
Google Scholar	非开放API，强烈反爬机制
CNKI（中国知网）	收费内容，版权严格限制
Web of Science / Scopus	商业数据库，不开放接口
Springer / Elsevier	商业出版平台，PDF非免费，需要机构权限

📌 建议使用方式

• ✅ 合法使用：优先使用明确开放许可（如 CC-BY）的平台
• 🛠️ 自动化建议：
  • 使用 requests + BeautifulSoup 对 HTML 页面爬取
  • 有些平台支持 API，如：
    • arXiv: https://arxiv.org/help/api/
    • CORE: https://core.ac.uk/services#api
    • DOAJ: https://doaj.org/api/v2/docs