Hackpad 封存器 - g0v

台灣農業資訊揭露

最後編輯：2016-06-17 建立：2013-06-08 歷史紀錄

    HOWARDSU台灣農產品交易資訊揭露

 

TED CBRANDSTORM

  1. 揭露什麼?
    1. 市場價格
      1. Ted: 爬這些行情資料有感覺到什麼不同的東西
      2. Howardsun: 鄉村文化。永靖鄉的故事。地區因為環境變遷(交通區位)造成的環境消長。
      3. Cades: 時間軸上的事件簿。
    2. 品種產區關係
    3. 以市場價格解決一窩蜂種植問題
      1. Ted: 如果目標是要農民不要一窩蜂的種一個東西。監控市場價格很有可能是錯誤的方向 (可能)，農業單位有其他的監控機制:
        1. 耕種面積監控
          1. 行動化敏感作物耕種面積: http://140.134.131.34/ <-- mac 打不開 (Safari/Chrome)? Chrome
        2. 種苗場的種苗銷售數字回報:
          1. 種苗業者登陸錄管理系統: http://jmsys.afa.gov.tw/
    4. 以資訊科技分析抓出菜蟲的可行性
    5. 以資訊科技迅速找有出口競爭力農產品的可能性
    6. 以台北農產運銷公司的【果菜農藥殘留生化檢驗工作報】Parse 出來常出問題的供應商
      1. 衛生局也有進行蔬果抽驗
    7. 未來事件交易所 - 菜市場預測的可能性運用?
    Wen-Chi Cheng不知在這邊插花是否妥當，不過以這個系統要揭露的內容來說，建議標題是否改為「台灣農產品交易資訊揭露」較為切題? 農業資訊包含的範圍非常廣的說
    Ted Chen贊同你的【農業包含範圍真是非常的廣...】。
    howardsun好, 那就改成台灣農產品交易資訊揭露。現在先留著上面揭露資訊的各個部分，之後會開其他hackpad放置這些內容。
    howardsun對不起，我改太快了，應先徵詢大家的意見才對。我是贊同修改的。
    howardsun因為這麼久沒人回應，所以我就改掉了。

 

農產品 Domain Knowledge

CADES K基礎建設

  • 每日交易價格資料
    • HOWARDSU2013端午節和6月11日的蔬菜交易csv格式資料檔 https://github.com/yhunglee/agri_data_crawler/blob/master/query_results/data_thirty_days_vegetable.txt 已移除，另已產生2013年2月至5月的蔬菜交易價格資料。
    • 尚不清楚代號OE的醃瓜的遺失情況原因為何。 已解決。
    • 已抓取2012年6月至2013年6月的蔬菜交易價格資料，也轉換成json格式。近日將提供大家下載，欄位名稱和格式按照原本網站提供的資料，僅替代空白為台灣農產品標準分類編碼系統。
    • query_results.tar.gz (15.8 MB) https://mega.co.nz/#!eQF1iBwI!bBGuySBhRcdNPRI0VbV9j3hpALx_Dk4RawUkmmZXRgY
    • vegetable_query_results_2011Jan_to_2013Jul.tar.gz (約30幾MB) https://mega.co.nz/#!uAVxlaAL!F4rWZGgpVTvcdd__sjNPqgAtp4xFW3pQ4UUCMYTgVJg
    • vegetable_query_results_1996Jan_to_2013Jul.tar.gz https://mega.co.nz/#!zVUVGbYa!e4EyKjLq7VGJDaH-tEh7Cnw1ONMQ7tDjp9vcNdrs_Gc
    • 花卉類不含盆花的交易價格資料 from 1996January to 2013July, csv和 json檔案, 約221MBytes https://mega.co.nz/#!DQU3USpa!D6Ie1i1S0bYOvxPWU4NNsyb5NAlG4iSGeL9HWXd8ojU
    • 水果類 1996年1月到 2013年7月 , https://mega.co.nz/#!7AtGyAxb!eZEQAW8uIhrt4-V1_1VR7wymZ34ASOFZ6VvNss3jXcw (約83MB, 先放上來讓大家玩玩看，尚不確定資料的完整性 )
    • 已於2014年五月時完成蔬菜、水果、盆花的爬蟲程式修正。

 

  • TED CUtilities
    • Parser:
      • C#: HtmlAgilityPack
    • csv2json: https://github.com/darwin/csv2json (會噴error msg)
    • CADES Kcsv2json online api: http://keyangxiang.com/blog/csv2json/, 搭配 howardsun 的資料格式，可用指令

 

 

視覺化

 

HOWARDSUExample crawler

Agri_data_crawler_at_GitHub.com

https://github.com/yhunglee/agri_data_crawler

目前只有用單一日期，接下來會實作開始抓固定時間的資料。

 

2013.06.26更新：

  1. 已上傳2013年2月至5月的蔬菜各市場交易價格資料的CSV檔到argi_data_crawler@github , 可以在目錄 query_result之下找到各月份交易資料。
  2. 抱歉，目前仍只能提供CSV檔，感謝Ted和cades提供的Solution, 因我提供的是整月份當季各種蔬菜交易資料，並非只有單種蔬菜，所以從我的程式直接提供json檔似乎是比較方便的。上一階段在找query結果的bug, 已經找到並解決了，接下來我會實作程式輸出json檔的方式。
  3. 目前程式已可執行蔬菜和花卉的查詢, 因水果格式和前兩者不同，程式尚無法查詢水果的市場交易價格。

 

 

蔬菜代號

from m.coa.com.tw 農產品交易行情查詢

*

 

交易市場代號

from 農產品交易行情站 http://amis.afa.gov.tw/

似乎參考郵遞區號

*

 

---------------------------------------------------

交易資料格式範例

from 我的程式

["交易日期:102年05月26日,產品名稱:FD花胡瓜,總交易量:62373公斤,總平均價:34.0元/公斤", "市場名稱,品種名稱,處理別,上價,中價,下價,平均價,增減%,交易量,增減%,台北二,其他,65.0,22.8,19.0,30.5,+103,60,+300,台北一,其他,45.1,32.1,18.9,32.1,-16,1184,+16,桃園縣,其他,40.0,38.3,35.0,38.3,-4,110,-15,台中市,其他,20.0,20.0,20.0,20.0,0,40,0,台北二,55.9,37.2,23.0,38.1,-3,9869,+28,台北一,54.7,34.9,17.4,35.3,-13,31337,+27,三重市,40.2,24.3,12.6,25.1,-16,3979,+40,宜蘭市,28.0,26.0,24.0,26.0,-,1520,-,桃園縣,40.0,30.6,18.6,30.6,-5,588,-1,台中市,38.5,20.3,9.0,22.9,+1,3291,+15,溪湖鎮,52.0,40.0,20.0,40.0,+8,4156,+264,南投市,54.0,42.0,30.0,41.4,+41,146,-16,高雄市,52.3,39.8,18.9,38.1,+4,2215,-14,屏東市,32.1,25.2,16.4,24.8,-19,2977,+8,台東市,50.0,0.0,20.0,35.0,-8,901,+17"]

["交易日期:102年05月26日,產品名稱:FD花胡瓜,總交易量:62373公斤,總平均價:34.0元/公斤", "市場名稱,品種名稱,處理別,上價,中價,下價,平均價,增減%,交易量,增減%,台北二,其他,\"\",65.0,22.8,19.0,30.5,+103,60,+300,台北一,其他,\"\",45.1,32.1,18.9,32.1,-16,1184,+16,桃園縣,其他,\"\",40.0,38.3,35.0,38.3,-4,110,-15,台中市,其他,\"\",20.0,20.0,20.0,20.0,0,40,0,台北二,\"\",\"\",55.9,37.2,23.0,38.1,-3,9869,+28,台北一,\"\",\"\",54.7,34.9,17.4,35.3,-13,31337,+27,三重市,\"\",\"\",40.2,24.3,12.6,25.1,-16,3979,+40,宜蘭市,\"\",\"\",28.0,26.0,24.0,26.0,-,1520,-,桃園縣,\"\",\"\",40.0,30.6,18.6,30.6,-5,588,-1,台中市,\"\",\"\",38.5,20.3,9.0,22.9,+1,3291,+15,溪湖鎮,\"\",\"\",52.0,40.0,20.0,40.0,+8,4156,+264,南投市,\"\",\"\",54.0,42.0,30.0,41.4,+41,146,-16,高雄市,\"\",\"\",52.3,39.8,18.9,38.1,+4,2215,-14,屏東市,\"\",\"\",32.1,25.2,16.4,24.8,-19,2977,+8,台東市,\"\",\"\",50.0,0.0,20.0,35.0,-8,901,+17"]

 

範例注意事項：

交易日期到總平均價是第一個字串，市場名稱到+17是第二個字串，這兩個字串皆有引號夾住，本範例只有兩個字串，每個字串間用逗號間隔，字串內也是用逗號間隔。

----------------------------------------------------

 

g0v.tw 6月8日通知

Hello all, g0v.tw發信問說有誰想要參加COSCUP的票，我們可以填成員名單，cadez和Ted兩位有需要者請在6月9號週日晚上9點前在此回覆，方便我統一回覆，謝謝。

CADES Kcades+1

TED CTed+1

HOWARDSUOK， 謝謝兩位回覆，抱歉昨晚忘記寫上信中內容。信中內容提到，g0v.tw會依照投票的排名順序發送邀請碼。我記得票不多，可能會在前面的隊伍就發送完畢。

 

我已填完成員名單。