从互联网获取股票数据（历史数据，Python + MySQL）

对于一个数据库开发者来说，牢固扎实的基础是十分重要的，golang学习网就来带大家一点点的掌握基础知识点。今天本篇文章带大家了解《从互联网获取股票数据（历史数据，Python + MySQL）》，主要介绍了MySQL、python、股票接口，希望对大家的知识积累有所帮助，快点收藏起来吧，否则需要时就找不到了！

目标

从互联网（网易数据接口）获取股票历史数据，包括开盘价、最高价、最低价、收盘价等等

环境

Python 3.6
MySQL 5.6.34

table: stock_list

记录数：3592 条，以该表为基础，制作 mission 清单。

table: stock_list_20190209（ mission list ）

从这个表里，每次读取一定数量的记录，依次从互联网上获取。

code: getStockData.py

'''
《获取股票历史市值》
Created on 2018年2月12日
@author: Livon

# 读取 股票列表，含代码及 上市日期、终止上市日期

（1）列表
        每次执行前，手工新建一个当前日期的表，如果存在就删除重建（可能是执行一个存储过程）
        表名：stock_list_20180212 // 股票列表
        表字段：id, 股票代码， 是否顺利完成，获取记录数量
        每次取一条记录，依次执行，中断了，下次可以从中断处继续。
        
（2）
每条记录，按指定日期范围进行获取

再建

# 从网易数据接口拉取市值数据

# 存入表 stock_his_marketCap 中

'''

import util
import urllib
import csv
import time
import datetimeUtil

from urllib import request

jobListTable = 'stock_list_20180209'

def p( msg ):
    print( '%s - %s' % ( datetimeUtil.getDatetime(), msg ))

def startJob():

    # 从数据池中读取 n 记录
    missionList = util.getMissionList( jobListTable )
    
    # 循环处理上述的 n 条记录
    for mission in missionList:
#         for value in row:
#             print( value )
        # 根据记录生成一条 url，一个 url 可以获取几千条日记录
        url = util.genUrl( mission )
    #     url = 'http://quotes.money.163.com/service/chddata.html?code=1000001&start=19910401&end=19910409'
    #     url += '&fields=LCLOSE;TOPEN;HIGH;LOW;TCLOSE;CHG;PCHG;TURNOVER;VOTURNOVER;VATURNOVER;TCAP;MCAP'  
                
#         print( dt(), ' - ', url )
        p( 'url: %s' % url )
        
        # 从互联网上获取股票数据
        dataList = util.getStockDataList( url )
        
        if( dataList != None ):
            # 将数据保存在目标表：股票历史数据表中
            insertedRows = util.insertTable( dataList )        
            # 更新 mission List 状态标志列
            util.updateJobList( jobListTable, mission, insertedRows )    
        else :
            p( 'csv 文件无数据。' )
        
        p('standby a moment for next mission（ you can terminal the program at this time）.')
        time.sleep(3)
        
# main
for i in range( 0, 2 ):
    p( 'startJob: %s' % str(i)  )
    startJob()
    
# done
print( '= = = = = = = = = = = = = = = = = = = = = = ' )
p( 'all done !')
print( '= = = = = = = = = = = = = = = = = = = = = = ' )

code: util.py

'''
Created on 2018年2月11日

@author: Livon
'''
   
import urllib.request

import re
import pymysql

from urllib import request

# from stock.获取股票历史市值 import datetimeUtil
import datetimeUtil



def p( msg ):
    print( '%s - %s' % ( datetimeUtil.getDatetime(), msg ))



# 任务清单，每一次任务会领一份任务清单，清单中的第一项，是一个股票
# 任务：job - 大循环
# 目标：mission - 小目标
# missionList - 目标清单
# getMissionList
# 参数：tableName 表名
def getMissionList( tableName ):
    
    rowsCount = '5' ;    
    
    conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='root', db='stock', charset='utf8')
    # 创建游标
#     cursor = conn.cursor()

    cursor = conn.cursor()
    
#     sql='select * from '+ tableName +' where doneTime is NULL limit ' + rowsCount
    sql = 'select * from %s where doneTime is NULL limit %s' % ( tableName, rowsCount )
    cout = cursor.execute(sql)
#     print("数量： "+str(cout))
    rows = cursor.fetchall();
    
#     rows = conn.cursor().execute( sql ).fetchall()
    
#     for row in rows:
#         print("stockCode: "+str(row[0])+'  stockName： '+row[1]+"  startDate： "+ str(row[2]))
        
    cursor.close()
#     
#     try:
#         #获取一个游标
#         with conn.cursor() as cursor:
#             sql='select * from '+ tableName +' where doneTime is NULL limit 1'
#             cout=cursor.execute(sql)
#             print("数量： "+str(cout))
# 
#             for row in cursor.fetchall():
#                 #print('%s\t%s\t%s' %row)
#                 #注意int类型需要使用str函数转义
#                 print("stockCode: "+str(row[0])+'  stockName： '+row[1]+"  startDate： "+ str(row[2]))
# #         conn.commit()
# 
#     finally:
#         print( 'done' )
        
    
    cursor.close()
    conn.close()
    
#     print( datetimeUtil.getDatetime(), ' - 任务清单装载完毕！任务数量：', str( len( rows ))  )
#     print( '%s - %s missons loaded.' % ( datetimeUtil.getDatetime(), str( len( rows )) ) )
    p( '%s missons loaded.' % str( len( rows ) ))
    
    return rows




# 生成网址
def genUrl( row ):    
    
    stockCode = row[0]
    startDate = str( row[2] ).replace('-','')
#     endDate = ( row[3] == 'None' )? '': row[3]
#     endDate = ( row[3] == None ) and '' or row[3]
    endDate = ( row[3] == None ) and row[3] or ''
    dataSource = row[4]
#     True and "Fire" or "Water"  
#     print( row[3] is 'None')
#     print( row[3] is None )
#     print( row[3] is '' )
#     print( type( row[3] ) )
#     print( type( row[3] ) is None )
#     print( type( row[3] ) is 'NoneType' )
    
    url = 'http://quotes.money.163.com/service/chddata.html?code=%s%s&start=%s&end=%s'
    url = url % ( dataSource, stockCode, startDate, endDate )
    url += '&fields=LCLOSE;TOPEN;LOW;HIGH;TCLOSE;CHG;PCHG;TURNOVER;VOTURNOVER;VATURNOVER;TCAP;MCAP'    
    
    return url





def getCsv( url ):    
    
#     csv = csv.decode('gbk')
#     
#     csv_str = str(csv)
#     lines = csv_str.split("\\n")
#     
#     print( len( lines))
    
    return ''

# 从互联网上获取数据
def getStockDataList( url ):
    
    print( datetimeUtil.getDatetime(), ' - ', '准备从互联网获取数据 ...' )
    
#     http = urllib3.PoolManager()
#     r = http.request('GET', url )
#     url="http://www.example.com/"
#     headers={"User-Agent":"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1"}

#     try:
#         req = urllib3.request(url, headers )
# #         req=urllib2.Request(url,headers=headers)
#         response = urllib3.request2.urlopen(req)
#     except urllib3.exceptions,e:
#         print e.reason
    dataList = None 
    try:
        response = request.urlopen( url )
        
        csv = response.read()     
        csv = csv.decode('gbk')  
    #     csv = csv.decode('iso-8859-1')        
        csv_str = str(csv)
        
#         print( type( csv ))
        
        if( len( csv_str )  0 ):
            insertedRows += 1
            
    print( datetimeUtil.getDatetime(), ' - 数据数量：', insertedRows )
#     
    # 提交，不然无法保存新建或者修改的数据
    conn.commit()  
    # 关闭游标
    cursor.close()
    # 关闭连接
    conn.close()    
    
    
    
#     arr_values = []
#     arr_columns = []
#     
#     for j in range( 0, len( properties) ):
#         
# #         print( 'propertie['+ str(j)+']: ' + properties[j] )
# #         key_value = properties[j].split(':')
# #         print( key_value[0] + ' -> ' + key_value[1] )
#         key = properties[j][:properties[j].find(':')]
#         value = properties[j][properties[j].find(':')+1:]
#         value = value.replace('"', '')
# #         print( key + ' -> ' + value )
# #         sql += '"' + value + '"'
#         arr_columns.append( '`' + key + '`' )
# #         arr_columns.append( key )
#         arr_values.append( '"' + value + '"' )
#         
#     sql = 'insert into stock_sina '
#     sql = sql + ' ( ' + ','.join( arr_columns ) + ' ) VALUES ( ' + ','.join( arr_values ) + ' ) '
    
#     print( sql )
       
#     effect_row = cursor.execute( sql )
    
    return insertedRows

        

code: datetimeUtil.py

'''
Created on 2018年2月14日

@author: Livon
'''

import time

def getDatetime():
    
    timeArray = time.localtime( time.time() )
    otherStyleTime = time.strftime("%Y-%m-%d %H:%M:%S", timeArray)
    
    return otherStyleTime

最终得到的数据：table: stock_his_data

记录总数：9045612（九百万）

以上就是本文的全部内容了，是否有顺利帮助你解决问题？若是能给你带来学习上的帮助，请大家多多支持golang学习网！更多关于数据库的相关知识，也可关注golang学习网公众号。