台灣農業資訊揭露

台灣農產品交易資訊揭露

BRANDSTORM

1. 揭露什麼?
   1. 市場價格
      1. Ted: 爬這些行情資料有感覺到什麼不同的東西
      2. Howardsun: 鄉村文化。永靖鄉的故事。地區因為環境變遷(交通區位)造成的環境消長。
      3. Cades: 時間軸上的事件簿。
   2. 品種產區關係
   3. 以市場價格解決一窩蜂種植問題
      1.  Ted: 如果目標是要農民不要一窩蜂的種一個東西。監控市場價格很有可能是錯誤的方向 (可能)，農業單位有其他的監控機制:  
         1. 耕種面積監控
            1. 行動化敏感作物耕種面積: http://140.134.131.34/ <-- mac 打不開 (Safari/Chrome)? Chrome
         2.  種苗場的種苗銷售數字回報:
            1.  種苗業者登陸錄管理系統: http://jmsys.afa.gov.tw/
   4.  以資訊科技分析抓出菜蟲的可行性
   5. 以資訊科技迅速找有出口競爭力農產品的可能性
   6. 以台北農產運銷公司的【果菜農藥殘留生化檢驗工作報】Parse  出來常出問題的供應商
      1. 衛生局也有進行蔬果抽驗
   7. 未來事件交易所 - 菜市場預測的可能性運用?

• 不知在這邊插花是否妥當，不過以這個系統要揭露的內容來說，建議標題是否改為「台灣農產品交易資訊揭露」較為切題? 農業資訊包含的範圍非常廣的說
• 贊同你的【農業包含範圍真是非常的廣...】。
• 好, 那就改成台灣農產品交易資訊揭露。現在先留著上面揭露資訊的各個部分，之後會開其他hackpad放置這些內容。
• 對不起，我改太快了，應先徵詢大家的意見才對。我是贊同修改的。
• 因為這麼久沒人回應，所以我就改掉了。

農產品 Domain Knowledge

• 農產業概況
  • 西螺果菜市場傳奇: http://www.victoria.org.tw/101librarywork/Chinese/fru1/fru1.html
  • 瀚朝生鮮蔬果物流配銷加值服務平臺(非廣告，實因裡面可看出來部分農產業配銷跟分類包裝及後製處理等產業概況): http://tcaweb3.tca.org.tw/~elogistics/web/doc/20130103035759_1.pdf
  • 臺灣現階段的農產運銷問題及未來的政策方向: http://www.bioagri.ntu.edu.tw/extcom/ntuaeN/ntuaeN_No_85.pdf
  • 立足台灣 布局全球「開放兩岸直航對台灣農產品外銷之利基」座談會: http://www.coa.gov.tw/view.php?catid=18495
  • 現代化農產運銷體系，造福農民，功德無量: http://blog.sina.com.tw/godloveson/article.php?pbgid=67234&entryid=620543
  • 族群、產業與社會資本：以屏東檳榔業「行口」為例 
  • 往大農趨勢(機械、自動化、大規模生產) 
    • 農地資源空間規劃工作之作業程序規範: http://www.ntpu.edu.tw/~clep/upload/handbook.pdf
    • 農業經營專區: http://www.coa.gov.tw/view.php?catid=13097
    • 農產品物流中心: http://www.coa.gov.tw/view.php?catid=4165
    • 農業生物科技專業園區的規劃: http://amebse.nchu.edu.tw/new_page_113.htm
    • 供應鏈 / 相關組織
      • 第一線農友
      • 產銷班
      • 合作農場
      • 合作社場 (集貨場)
        • 產銷合作社
        • 運銷合作社
      • 青果社
      • 國聯社
      • 農聯社
      • 農會 (集貨場)
      • 果菜批發市場
      • 農委會
  • 往小農趨勢(有機、生態農法)
    • 台灣地區有機農場產銷結構之初探: http://210.70.118.9/beam/web/files/students/paper/08-9.pdf
  • 社區支持型農業(CSA)
• 氣候
  • 臺灣氣候變遷推估與資訊平台建置
  • 農業氣象諮詢系統 http://amis.tari.gov.tw/MapManager/Result/Weather_Result.aspx
  • 有些氣象資料只到2009，有些可以用到2013年(今年)的資料。
  • 
    

• 農作物
  • 屏東科技大學-農藝學: http://cec.npust.edu.tw/e-learning/agronomy/
  • 跨單位物種查詢平台(查科學分類): http://ngismap.forest.gov.tw/SpeciesQuery/Query.aspx?Token=
  • 132種作物適栽性等級圖: http://econgisdw.forest.gov.tw/GISLibrary/Library.aspx?type=image&key=catalog&code=D010201
  • 農委會-植物品種權公告查詢系統: http://newplant.afa.gov.tw/
  • 農委會農試所-作物種原中心: http://www.npgrc.tari.gov.tw/
• 農地
  • 100年度農地資源空間規劃交流平台: http://www.ntpu.edu.tw/~clep/clep/blog/
  • 區域計畫法
    • 特定農業區
    • 一般農業區
  • 農委會土壤資料庫系統: http://taiwansoil.tari.gov.tw
  • 台灣農地資訊服務網
  • 台灣農地資訊服務網(TALIS) 執行成果與應用
  • 農地資訊查詢系統 - 圖資說明
  • 農地資訊查詢系統 - 農地重要性等級
  • 農地資料流通中心
  • 農地空間規畫成果
  • 台灣土壤資源與農地土地覆蓋圖資瀏覽查詢系統
• 價格形成原理 / 成本結構
  • 果菜批發市場的24小時: http://100.coa.gov.tw/view.php?id=23939&issue=23927
  • 農產品交易的合理化、自動化與電子化: http://agriauto.bime.ntu.edu.tw/technique/marketing/marketing_03.htm
  • 農產品批發市場的管理與自動化: http://agriauto.bime.ntu.edu.tw/technique/marketing/marketing_02.htm
  • 農產品拍賣作業自動化: http://agriauto.bime.ntu.edu.tw/technique/marketing/marketing_01.htm
  • 農產品運銷資訊網: http://agriauto.bime.ntu.edu.tw/technique/marketing/marketing_04.htm
  • 果菜批發市場整合經營之成本效益分析-以台北農產運銷公司為例: http://tweb.cjcu.edu.tw/conference_abstract/2012_11_20_03_11_20.3.pdf
• 供銷管制制度
  • 農會提供批發市場的蔬果預供量表: http://www.farmer.org.tw/蔬果預供量表.htm
  • 應用灰色理論於協同規劃、預測補貨 — 以有機零售商為例
• 儲運
  • 物流業市場概況: http://elogistics.lhu.edu.tw/may/course/92_1/logistics/final/project/3a/%E7%AC%AC%E4%BA%8C%E7%B5%84%E3%80%8A%E7%B5%84%E9%95%B7D90415149%20%20%E4%BA%8E%E8%B1%AB%E5%96%84%E3%80%8B/%E7%AC%AC%E4%BA%8C%E7%B5%84%E3%80%8A%E7%B5%84%E9%95%B7D90415149%20%20%E4%BA%8E%E8%B1%AB%E5%96%84%E3%80%8B.htm
  • 彰化縣及台中縣農產品生產及物流作業成本之研究: http://ndltd.ncl.edu.tw/cgi-bin/gs32/gsweb.cgi/ccd=dyE.9q/search?s=id=%22096FCU05118001%22.&openfull=1&setcurrent=0#XXX
• 檢驗系統
  • 台北農產運銷公司 - 果菜農藥殘留生化檢驗工作報告: http://www.tapmc.com.tw/News1M01.aspx?System_work=6&TWork=6&Sale_id=102/05&Sale_no=4
  • 臺北市政府衛生局101年5月生鮮蔬果抽驗不符規定名冊 - 台北市衛生局: http://www.health.gov.tw/Portals/0/%E8%97%A5%E7%89%A9%E9%A3%9F%E5%93%81%E8%99%95/%E8%A1%9B%E7%94%9F%E6%9F%A5%E9%A9%97%E8%82%A1/1010625FDA%E5%85%AC%E5%B8%835%E6%9C%88%E7%94%9F%E9%AE%AE%E8%94%AC%E6%9E%9C%E6%AE%98%E7%95%99%E8%BE%B2%E8%97%A5%E6%AA%A2%E9%A9%97%E7%B5%90%E6%9E%9C(%E9%99%84%E4%BB%B6%E4%B8%8D%E7%AC%A6%E8%A6%8F%E5%AE%9A%E5%90%8D%E5%86%8A).pdf
• 其他參考資料
  • 植物與文明: http://seed.agron.ntu.edu.tw/civilisation/civilis.html#課程進度
  • 代碼
    • 台灣農產品標準分類編碼系統
    • 抓緊活用國際條碼 農產品產銷效益驚人
    • 台灣農產品出口商申請「台灣農產品全球位置碼」作業辦法
    • 農產品生產履歷與流通追溯作業 編碼設計與規劃
  • 產地
    • 農漁生產地圖: http://kmweb.coa.gov.tw/jigsaw2010/Index.aspx
    • 當月盛產農作物: http://www.afa.gov.tw/farmproduce_search.asp#QResult
    • 著名地方特色產業產地一覽表(經濟部智慧財產局): http://www.tipo.gov.tw/ct.asp?xItem=425422&CtNode=7041&mp=1
  • 行情
    • 農產品行情交易站: http://amis.afa.gov.tw/
    • 台北農產運銷股份有限公司: http://www.tapmc.com.tw/tapmc_new16/index.html
    • 農糧署物價查報系統: http://apis.afa.gov.tw/pagepub/AppMainGuest.aspx
    • 新北市果菜運銷股份有限公司-供銷服務系統: http://scm.sco.gov.tw/_pg/sc/index.asp
    • 台北運銷公司提供給農會的吉園圃報表(價格統計): http://www.farmer.org.tw/吉園圃報表.htm
    • 台灣農產品批發市場行情報導發展的回顧(上價、中價和下價的由來, 請參閱第六段之一、果菜與漁貨): http://blog.tapmc.com.tw/download/971117.doc‎
    • 台北農產運銷公司交易關係之研究-組織經濟學的觀點: http://ntur.lib.ntu.edu.tw/handle/246246/252630
    • 未來事件交易所-菜市場預測
  • 法律
    • 農業相關法律查詢: http://law.coa.gov.tw/GLRSnewsout/index.aspx?MenuType=all&PageCount=10
    • 農產品市場交易法
  • 作物優質生產整合資訊平台: http://kiscrop.tari.gov.tw/kiscrop/
  • 各國農產品行情
    • 越南安江省各農產價格: http://agriviet.com/Gia-ca-thi-truong/Nong-san-vat-tu-nong-nghiep-trai-cay-rau--hoa-qua/
  • 氣候
    • 夏至期間全國日照總時數分佈圖(看這日照時數都不是呈現與緯度直接平行的圖形，難怪農產品這麼複雜呀...): http://www.weather.com.cn/static/html/article/20090619/35622.shtml
  • 中草藥種原特性資料查詢

基礎建設

• 每日交易價格資料
  • 2013端午節和6月11日的蔬菜交易csv格式資料檔 https://github.com/yhunglee/agri_data_crawler/blob/master/query_results/data_thirty_days_vegetable.txt 已移除，另已產生2013年2月至5月的蔬菜交易價格資料。
  • 尚不清楚代號OE的醃瓜的遺失情況原因為何。 已解決。
  • 已抓取2012年6月至2013年6月的蔬菜交易價格資料，也轉換成json格式。近日將提供大家下載，欄位名稱和格式按照原本網站提供的資料，僅替代空白為台灣農產品標準分類編碼系統。
  • query_results.tar.gz (15.8 MB) https://mega.co.nz/#!eQF1iBwI!bBGuySBhRcdNPRI0VbV9j3hpALx_Dk4RawUkmmZXRgY
  • vegetable_query_results_2011Jan_to_2013Jul.tar.gz (約30幾MB) https://mega.co.nz/#!uAVxlaAL!F4rWZGgpVTvcdd__sjNPqgAtp4xFW3pQ4UUCMYTgVJg
  • vegetable_query_results_1996Jan_to_2013Jul.tar.gz https://mega.co.nz/#!zVUVGbYa!e4EyKjLq7VGJDaH-tEh7Cnw1ONMQ7tDjp9vcNdrs_Gc
  • 花卉類不含盆花的交易價格資料 from 1996January to 2013July, csv和 json檔案, 約221MBytes https://mega.co.nz/#!DQU3USpa!D6Ie1i1S0bYOvxPWU4NNsyb5NAlG4iSGeL9HWXd8ojU
  • 水果類 1996年1月到 2013年7月 , https://mega.co.nz/#!7AtGyAxb!eZEQAW8uIhrt4-V1_1VR7wymZ34ASOFZ6VvNss3jXcw   (約83MB, 先放上來讓大家玩玩看，尚不確定資料的完整性 ) 
  • 已於2014年五月時完成蔬菜、水果、盆花的爬蟲程式修正。

• Utilities
  • Parser:
    • C#: HtmlAgilityPack
  • csv2json: https://github.com/darwin/csv2json (會噴error msg)
  • csv2json online api: http://keyangxiang.com/blog/csv2json/, 搭配 howardsun 的資料格式，可用指令

視覺化

Example crawler

Agri_data_crawler_at_GitHub.com

https://github.com/yhunglee/agri_data_crawler

目前只有用單一日期，接下來會實作開始抓固定時間的資料。

2013.06.26更新：

1. 已上傳2013年2月至5月的蔬菜各市場交易價格資料的CSV檔到argi_data_crawler@github , 可以在目錄 query_result之下找到各月份交易資料。
2. 抱歉，目前仍只能提供CSV檔，感謝Ted和cades提供的Solution, 因我提供的是整月份當季各種蔬菜交易資料，並非只有單種蔬菜，所以從我的程式直接提供json檔似乎是比較方便的。上一階段在找query結果的bug, 已經找到並解決了，接下來我會實作程式輸出json檔的方式。
3. 目前程式已可執行蔬菜和花卉的查詢, 因水果格式和前兩者不同，程式尚無法查詢水果的市場交易價格。

蔬菜代號

from m.coa.com.tw  農產品交易行情查詢

交易市場代號

from 農產品交易行情站 http://amis.afa.gov.tw/

似乎參考郵遞區號

---------------------------------------------------

交易資料格式範例

from 我的程式

["交易日期:102年05月26日,產品名稱:FD花胡瓜,總交易量:62373公斤,總平均價:34.0元/公斤", "市場名稱,品種名稱,處理別,上價,中價,下價,平均價,增減%,交易量,增減%,台北二,其他,65.0,22.8,19.0,30.5,+103,60,+300,台北一,其他,45.1,32.1,18.9,32.1,-16,1184,+16,桃園縣,其他,40.0,38.3,35.0,38.3,-4,110,-15,台中市,其他,20.0,20.0,20.0,20.0,0,40,0,台北二,55.9,37.2,23.0,38.1,-3,9869,+28,台北一,54.7,34.9,17.4,35.3,-13,31337,+27,三重市,40.2,24.3,12.6,25.1,-16,3979,+40,宜蘭市,28.0,26.0,24.0,26.0,-,1520,-,桃園縣,40.0,30.6,18.6,30.6,-5,588,-1,台中市,38.5,20.3,9.0,22.9,+1,3291,+15,溪湖鎮,52.0,40.0,20.0,40.0,+8,4156,+264,南投市,54.0,42.0,30.0,41.4,+41,146,-16,高雄市,52.3,39.8,18.9,38.1,+4,2215,-14,屏東市,32.1,25.2,16.4,24.8,-19,2977,+8,台東市,50.0,0.0,20.0,35.0,-8,901,+17"]

["交易日期:102年05月26日,產品名稱:FD花胡瓜,總交易量:62373公斤,總平均價:34.0元/公斤", "市場名稱,品種名稱,處理別,上價,中價,下價,平均價,增減%,交易量,增減%,台北二,其他,\"\",65.0,22.8,19.0,30.5,+103,60,+300,台北一,其他,\"\",45.1,32.1,18.9,32.1,-16,1184,+16,桃園縣,其他,\"\",40.0,38.3,35.0,38.3,-4,110,-15,台中市,其他,\"\",20.0,20.0,20.0,20.0,0,40,0,台北二,\"\",\"\",55.9,37.2,23.0,38.1,-3,9869,+28,台北一,\"\",\"\",54.7,34.9,17.4,35.3,-13,31337,+27,三重市,\"\",\"\",40.2,24.3,12.6,25.1,-16,3979,+40,宜蘭市,\"\",\"\",28.0,26.0,24.0,26.0,-,1520,-,桃園縣,\"\",\"\",40.0,30.6,18.6,30.6,-5,588,-1,台中市,\"\",\"\",38.5,20.3,9.0,22.9,+1,3291,+15,溪湖鎮,\"\",\"\",52.0,40.0,20.0,40.0,+8,4156,+264,南投市,\"\",\"\",54.0,42.0,30.0,41.4,+41,146,-16,高雄市,\"\",\"\",52.3,39.8,18.9,38.1,+4,2215,-14,屏東市,\"\",\"\",32.1,25.2,16.4,24.8,-19,2977,+8,台東市,\"\",\"\",50.0,0.0,20.0,35.0,-8,901,+17"]

範例注意事項：

交易日期到總平均價是第一個字串，市場名稱到+17是第二個字串，這兩個字串皆有引號夾住，本範例只有兩個字串，每個字串間用逗號間隔，字串內也是用逗號間隔。

----------------------------------------------------

g0v.tw 6月8日通知

Hello all, g0v.tw發信問說有誰想要參加COSCUP的票，我們可以填成員名單，cadez和Ted兩位有需要者請在6月9號週日晚上9點前在此回覆，方便我統一回覆，謝謝。

cades+1

Ted+1

OK， 謝謝兩位回覆，抱歉昨晚忘記寫上信中內容。信中內容提到，g0v.tw會依照投票的排名順序發送邀請碼。我記得票不多，可能會在前面的隊伍就發送完畢。

我已填完成員名單。