爬取數據炒股

A. 有沒有好用的股票歷史數據 API 或者適合爬的網站

我這里已經爬好了，現在分享滬股通、上證指數、深證成指、創業板指、上證50的所有歷史數據，往後打算做一個網站或者小程序供用戶調用，獲取方式請看這篇文章網頁鏈接

B. 網路爬蟲實時股票價格 怎麼實現

周二時已經出現了跌停股,漲幅2%的個股僅650家,大部分個股處於1%的微漲格局,而周三這一情況加劇到了漲跌各半,甚至在午盤後跳水中出現了局部漲少跌多的情況,今天這樣的情況有增無減。 。

很高興第一時間為你解答，敬請採納。
如果對本題還有什麼疑問，請追問。

C. 怎麼學python爬取財經信息

本程序使用Python 2.7.6編寫，擴展了Python自帶的HTMLParser，自動根據預設的股票代碼列表，從Yahoo Finance抓取列表中的數據日期、股票名稱、實時報價、當日變化率、當日最低價、當日最高價。

由於Yahoo Finance的股票頁面中的數值都有相應id。

例如納斯達克100指數ETF（QQQ）
其中實時報價的HTML標記為

[html]view plain

• <spanid="yfs_l84_qqq">87.49</span>

而標普500指數ETF（SPY）


其中實時報價的HTML標記為

[html]view plain

• <spanid="yfs_l84_spy">187.25</span>

因此本數據抓取程序根據相應的id字元串來查找數據。具體來說就是先繼承HTMLParser，然後在自定義的子類中重載handle_data(self, data)方法，查找包含相應id字元串（例如實時報價的id字元串為"yfs_l84_"+股票代碼）的HTML標記，並輸出這個HTML標記中的數據（例如qqq的<span id="yfs_l84_qqq">87.49</span>，其中的數據87.49就是實時報價。）

樣本輸出：

數據依次是

數據日期 股票代碼 股票名稱 實時報價 日變化率 日最低價 日最高價

[python]view plain

• 05/05/(IBB)233.281.85%225.34233.28

• 05/05/(SOCL)17.480.17%17.1217.53

• 05/05/(PNQI)62.610.35%61.4662.74

• 05/05/2014xsdSPDRS&PSemiconctorETF(XSD)67.150.12%66.2067.41

• 05/05/2014itaiSharesUSAerospace&Defense(ITA)110.341.15%108.62110.56

• 05/05/2014iaiiSharesUSBroker-Dealers(IAI)37.42-0.21%36.8637.42

• 05/05/(VBK)119.97-0.03%118.37120.09

• 05/05/2014qqqPowerSharesQQQ(QQQ)87.950.53%86.7687.97

• 05/05/2014ewiiSharesMSCIItalyCapped(EWI)17.86-0.56%17.6517.89

• 05/05/(DFE)62.33-0.11%61.9462.39

• 05/05/(PBD)13.030.00%12.9713.05

• 05/05/(EIRL)38.52-0.16%38.3938.60

D. java 如何實現 獲取實時股票數據

一般有三種方式：

1. 網頁爬蟲。採用爬蟲去爬取目標網頁的股票數據，去GitHub或技術論壇（如CSDN、51CTO）上找一下別人寫的爬蟲集成到項目中。

2. 請求第三方API。會有專門的公司（例如網路API市場）提供股票數據，你只需要去購買他們的服務，使用他們提供的SDK，仿照demo開發實現即可。如下圖所示：

E. 能爬取股票帳號信息嗎

能爬取股票帳號信息

股票賬戶都是證券公司信息

不會對外開放查詢

F. python爬蟲獲取東方財富股票論壇內容分析，怎樣

付費可以幫寫

G. 有哪些網站用爬蟲爬取能得到很有價值的數據

一般有一下幾種

一些常用的方法
IP代理

對於IP代理,各個語言的Native Request API都提供的IP代理響應的API, 需要解決的主要就是IP源的問題了.
網路上有廉價的代理IP(1元4000個左右), 我做過簡單的測試, 100個IP中, 平均可用的在40-60左右, 訪問延遲均在200以上.
網路有高質量的代理IP出售, 前提是你有渠道.
因為使用IP代理後, 延遲加大, 失敗率提高, 所以可以將爬蟲框架中將請求設計為非同步, 將請求任務加入請求隊列(RabbitMQ,Kafka,Redis), 調用成功後再進行回調處理, 失敗則重新加入隊列. 每次請求都從IP池中取IP, 如果請求失敗則從IP池中刪除該失效的IP.
Cookies

有一些網站是基於cookies做反爬蟲, 這個基本上就是如 @朱添一 所說的, 維護一套Cookies池
注意研究下目標網站的cookies過期事件, 可以模擬瀏覽器, 定時生成cookies
限速訪問

像開多線程,循環無休眠的的暴力爬取數據, 那真是分分鍾被封IP的事, 限速訪問實現起來也挺簡單(用任務隊列實現), 效率問題也不用擔心, 一般結合IP代理已經可以很快地實現爬去目標內容.

一些坑

大批量爬取目標網站的內容後, 難免碰到紅線觸發對方的反爬蟲機制. 所以適當的告警提示爬蟲失效是很有必有的.
一般被反爬蟲後, 請求返回的HttpCode為403的失敗頁面, 有些網站還會返回輸入驗證碼(如豆瓣), 所以檢測到403調用失敗, 就發送報警, 可以結合一些監控框架, 如Metrics等, 設置短時間內, 告警到達一定閥值後, 給你發郵件,簡訊等.
當然, 單純的檢測403錯誤並不能解決所有情況. 有一些網站比較奇葩, 反爬蟲後返回的頁面仍然是200的(如去哪兒), 這時候往往爬蟲任務會進入解析階段, 解析失敗是必然的. 應對這些辦法, 也只能在解析失敗的時候, 發送報警, 當告警短時間到達一定閥值, 再觸發通知事件.
當然這個解決部分並不完美, 因為有時候, 因為網站結構改變, 而導致解析失敗, 同樣回觸發告警. 而你並不能很簡單地區分, 告警是由於哪個原因引起的.

H. 如何用python 爬蟲抓取金融數據

獲取數據是數據分析中必不可少的一部分，而網路爬蟲是是獲取數據的一個重要渠道之一。鑒於此，我拾起了Python這把利器，開啟了網路爬蟲之路。

本篇使用的版本為python3.5，意在抓取證券之星上當天所有A股數據。程序主要分為三個部分：網頁源碼的獲取、所需內容的提取、所得結果的整理。

一、網頁源碼的獲取

很多人喜歡用python爬蟲的原因之一就是它容易上手。只需以下幾行代碼既可抓取大部分網頁的源碼。

為了減少干擾，我先用正則表達式從整個頁面源碼中匹配出以上的主體部分，然後從主體部分中匹配出每隻股票的信息。代碼如下。

pattern=re.compile('<tbody[sS]*</tbody>')
body=re.findall(pattern,str(content)) #匹配<tbody和</tbody>之間的所有代碼pattern=re.compile('>(.*?)<')
stock_page=re.findall(pattern,body[0]) #匹配>和<之間的所有信息

其中compile方法為編譯匹配模式，findall方法用此匹配模式去匹配出所需信息，並以列表的方式返回。正則表達式的語法還挺多的，下面我只羅列所用到符號的含義。

語法 說明

. 匹配任意除換行符「 」外的字元

* 匹配前一個字元0次或無限次

？ 匹配前一個字元0次或一次

s 空白字元：[<空格> fv]

S 非空白字元：[^s]

[...] 字元集，對應的位置可以是字元集中任意字元

(...) 被括起來的表達式將作為分組，裡面一般為我們所需提取的內容

正則表達式的語法挺多的，也許有大牛隻要一句正則表達式就可提取我想提取的內容。在提取股票主體部分代碼時發現有人用xpath表達式提取顯得更簡潔一些，看來頁面解析也有很長的一段路要走。

三、所得結果的整理

通過非貪婪模式(.*?)匹配>和<之間的所有數據，會匹配出一些空白字元出來，所以我們採用如下代碼把空白字元移除。

stock_last=stock_total[:] #stock_total：匹配出的股票數據for data in stock_total: #stock_last：整理後的股票數據
if data=='':
stock_last.remove('')

最後，我們可以列印幾列數據看下效果，代碼如下

print('代碼',' ','簡稱',' ',' ','最新價',' ','漲跌幅',' ','漲跌額',' ','5分鍾漲幅')for i in range(0,len(stock_last),13): #網頁總共有13列數據
print(stock_last[i],' ',stock_last[i+1],' ',' ',stock_last[i+2],' ',' ',stock_last[i+3],' ',' ',stock_last[i+4],' ',' ',stock_last[i+5])

I. 如何利用爬蟲技術來輔助老媽炒股票

炒股賺錢是一個極度復雜的綜合體，不可能單憑某種技術就能炒股賺錢的。要是那樣，股市就不是1賺1平8虧了。

J. Python 如何爬股票數據

現在都不用爬數據拉，很多量化平台能提供數據介面的服務。像比如基礎金融數據，包括滬深A股行情數據，上市公司財務數據，場內基金數據，指數數據，期貨數據以及宏觀經濟數據；或者Alpha特色因子，技術分析指標因子，股票tick數據以及網路因子數據這些數據都可以在JQData這種數據服務中找到的。
有的供應商還能提供level2的行情數據，不過這種比較貴，幾萬塊一年吧