magic-mirror
編輯歷史
| 時間 | 作者 | 版本 |
|---|---|---|
| 2017-05-06 07:57 – 07:58 | r1950 – r1965 | |
顯示 diff magic-mirror
- 本專案的目的，在於自動修復 *.gov.tw 各資料源的格式問題，以加速化目前開放資料來源的應用。
-
- 經過修整後資料，列於：http://g0v-data-mirror.gugod.org/
-
- *鏡射站址
-
- 網址別
- *https://github.com/g0v-data/mirror
-
- 年份別
- *https://github.com/g0v-data/mirror-2013
- *https://github.com/g0v-data/mirror-2014
- *https://github.com/g0v-data/mirror-2015
- *https://github.com/g0v-data/mirror-2016
- *https://github.com/g0v-data/mirror-2017
-
- *來龍去脈
- 在 data.gov.tw 上條列出了許多目前政府機機關有開放出的資料。不過有仍有幾點問題：
-
- *許多資料 URL 會定期更新，而在更新之後，舊版的資料便無法取得
- *非定期更新的資料是否也適合經過本專案管理，好統一來源？
- *也適合。在本地端設定更新周期後（比方說兩周），定時更新。畢竟無法事先得知遠端是否有更新再下載。簡單地說就是定期抓下來備份。
- *有許多資料為 CSV 格式，但各欄位的內容與格式卻良萎不齊
- *資料 URL 分佈各站，且不容易得知各資料表中各筆資料是否彼此之間有關聯性
-
- 為此，希望能有一中介的鏡像站一併解決上述三項問題。
-
- *定時備份原始資料，並存入 git，因此也能回頭再取得舊版
- *將各 CSV （或其他）格式的檔案轉成 JSON，以便其他程式利用。並同時修復內容中的格式錯誤。其他程式可利用 github （或其他）做為資料源的。
- *各資料檔之間若有關聯，也可另行合併一次，另做成去正規化的輸出。
-
- 牽涉領域：基礎建設
-
- 現有類似專案
-
- 相關組織單位：
-
- 相關專案
- *g0vre
- *aec-data
-
- 授權方式
- *程式碼部分 CC0*文件部分（ CC0
- 使用資料
-
- 專案目前狀態
- **自動營運中。
- 仍需需作更多資料處理函式。
-
- *目標與功能（預定使用者
-
- *其他開發人員。
- 預定功能
-
- 使用方式
-
- *可透過 github.io 網址取得 json 格式的資料。
-
- *實做細節（
- 使用技術
- *使perl
- *git
- 協作工具
- *github repo：
- *http://github.com/g0v/magic-mirror
- *http://github.com/g0v-data/mirror/
- # 內容為自動產生*hackfoldr 工作資料夾網址：
- *google drive 共用資料夾網址：
- *irc channel：#g0v.tw
-
-
- *運行狀態
-
- 目前 magic-mirror 中的程式碼已設定為定時執行，抓取新版後、自動處理後公佈於：
-
- http://g0v-data-mirror.gugod.org/
-
- 各資料源的 URL 及檔名對應、時程等等，設定檔為 JSON 格式放在源碼的 etc/ 目錄中。另外，歷史資料也存於 github 上： http://github.com/g0v-data/mirror/ 。repository 內以政府網站域名做為資料夾。以「停水通知」（water/suspension.csv) 為例，以下分別為網頁觀看版與下載版：
-
- *https://github.com/g0v-data/mirror/blob/gh-pages/water/suspension.csv
- *http://g0v-data-mirror.gugod.org/water/suspension.csv
-
- 因為累計 commit 數極多，被 github 站方通知此自動生成的頁面耗去不少資源，因此我另外架在 linode 上。網址為：
-
- *http://g0v-data-mirror.gugod.org/
-
- 為了方便批次處理， 各年份的所有資料集，另行匯出至不同的倉儲：
- *
- *https://github.com/g0v-data/mirror-2013
- *https://github.com/g0v-data/mirror-2013
- *https://github.com/g0v-data/mirror-2014
- *https://github.com/g0v-data/mirror-2015
- *https://github.com/g0v-data/mirror-2016
- *
- 此倉儲中，所有的資料集的所有歷史紀錄皆依照其下載日期時間，整理在目錄中。此版本的倉儲十分佔據空間，mirror-2016 在 `git clone` 之後需要 91GB 硬碟空間。請稍加注意。
- 者
- 術gugod分工與成員
- *NeedsWriter: 需要文案幫手（撰寫基本資訊、報導專案etc）
- *NeedsDesigner: 需要介面設計
- *NeedsData: 需要資料（擷取、清理）
- *NeedsTech: 需要技術支援（程式、架站 etc)
- *NeedsProcess: 需要幫忙設計作業流程
- *NeedsTalkingToRealPerson: 需要有人幫忙和其他機關聯絡
- *設定成 project registry 中的 tags，需要幫忙的會自動 promote 到 g0v project hub
+ 本頁內容已經搬移到: https://hackmd.io/s/S1gGgbo1Z
|
||
| 2017-01-13 20:50 – 21:02 | r1762 – r1949 | |
顯示 diff（3 行未修改）
經過修整後資料，列於：http://g0v-data-mirror.gugod.org/
- （註：原 http://g0v-data.github.io/mirror/ 仍可使用，但由於 github 方面要求，更新頻率較慢。）
+ *鏡射站址
+
+ 網址別
+ *https://github.com/g0v-data/mirror
+
+ 年份別
+ *https://github.com/g0v-data/mirror-2013
+ *https://github.com/g0v-data/mirror-2014
+ *https://github.com/g0v-data/mirror-2015
+ *https://github.com/g0v-data/mirror-2016
+ *https://github.com/g0v-data/mirror-2017
*來龍去脈
（42 行未修改）
使用技術
*使perl
+ *git
協作工具
*github repo：
（11 行未修改）
http://g0v-data-mirror.gugod.org/
- 各資料源的 URL 及檔名對應、時程等等，設定檔為 JSON 格式放在源碼的 etc/ 目錄中。另外，歷史資料也存於 github 上： http://github.com/g0v-data/mirror/ 。repository 內以政府網站域名做為資料夾。此 git repository 設定以 gh-pages 為主要 branch，因此也有 github.io 網址可用。以「停水通知」（water/suspension.csv) 為例，以下分別為網頁觀看版與下載版：
+ 各資料源的 URL 及檔名對應、時程等等，設定檔為 JSON 格式放在源碼的 etc/ 目錄中。另外，歷史資料也存於 github 上： http://github.com/g0v-data/mirror/ 。repository 內以政府網站域名做為資料夾。以「停水通知」（water/suspension.csv) 為例，以下分別為網頁觀看版與下載版：
*https://github.com/g0v-data/mirror/blob/gh-pages/water/suspension.csv
- *http://gv-data.github.io/g0v-data/water/suspension.csv
-
+ *http://g0v-data-mirror.gugod.org/water/suspension.csv
- 因為累計 commit 數極多（目前為止為 250k。至少每分鐘會有一次 commit，因此一個月至少有 43.2k 次。），被 github 站方通知此自動生成的頁面耗去不少資源，因此我另外架在 linode 上。網址為：
+ 因為累計 commit 數極多，被 github 站方通知此自動生成的頁面耗去不少資源，因此我另外架在 linode 上。網址為：
*http://g0v-data-mirror.gugod.org/
-
- 另有 github.io 的網址： http://g*v-data.github.io/g0v-data/ ，但不會即時更新。
- 為了方便批次處理， 2013 年份的所有資料集，另行匯出至不同的倉儲：
+ 為了方便批次處理， 各年份的所有資料集，另行匯出至不同的倉儲：
*
+ *https://github.com/g0v-data/mirror-2013
*https://github.com/g0v-data/mirror-2013
+ *https://github.com/g0v-data/mirror-2014
+ *https://github.com/g0v-data/mirror-2015
+ *https://github.com/g0v-data/mirror-2016
*
- 此倉儲中，所有的資料集的所有歷史紀錄皆依照其下載日期時間，整理在目錄中。
+ 此倉儲中，所有的資料集的所有歷史紀錄皆依照其下載日期時間，整理在目錄中。此版本的倉儲十分佔據空間，mirror-2016 在 `git clone` 之後需要 91GB 硬碟空間。請稍加注意。
者
（8 行未修改）
|
||
| 2014-10-20 23:13 – 23:58 | r1684 – r1761 | |
顯示 diff（77 行未修改）
另有 github.io 的網址： http://g*v-data.github.io/g0v-data/ ，但不會即時更新。
+ 為了方便批次處理， 2013 年份的所有資料集，另行匯出至不同的倉儲：
+ *
+ *https://github.com/g0v-data/mirror-2013
+ *
+ 此倉儲中，所有的資料集的所有歷史紀錄皆依照其下載日期時間，整理在目錄中。
者
（8 行未修改）
|
||
| 2014-02-10 07:00 – 07:14 | r1531 – r1683 | |
顯示 diff（35 行未修改）
專案目前狀態
- **作
-
+ **自動營運中。
+ 仍需需作更多資料處理函式。
*目標與功能（預定使用者
（20 行未修改）
*運行狀態
- 目前 magic-mirror 中的程式碼已設定為定時執行，自動將新版的資料推入 http://github.com/g0v-data/mirror/ 當中。以政府網站域名做為資料夾。目前所有資料表列於：
+ 目前 magic-mirror 中的程式碼已設定為定時執行，抓取新版後、自動處理後公佈於：
http://g0v-data-mirror.gugod.org/
-
- 各資料源的 URL 及檔名對應、時程等等，設定檔為 JSON 格式放在源碼的 etc/ 目錄中。
- g0v-data/mirror/ 設定以 gh-pages 為主要 branch，因此也有 github.io 網址可用。以「停水通知」（water/suspension.csv) 為例，以下分別為網頁觀看版與下載版：
+ 各資料源的 URL 及檔名對應、時程等等，設定檔為 JSON 格式放在源碼的 etc/ 目錄中。另外，歷史資料也存於 github 上： http://github.com/g0v-data/mirror/ 。repository 內以政府網站域名做為資料夾。此 git repository 設定以 gh-pages 為主要 branch，因此也有 github.io 網址可用。以「停水通知」（water/suspension.csv) 為例，以下分別為網頁觀看版與下載版：
*https://github.com/g0v-data/mirror/blob/gh-pages/water/suspension.csv
（1 行未修改）
- 註：github 站方通知此自動生成的頁面耗去不少資源，由於累計 commit 數極多（目前為止為 250k。至少每分鐘會有一次 commit，因此一個月至少有 43.2k 次。）因此我另外架在 linode 上。網址為：
+ 因為累計 commit 數極多（目前為止為 250k。至少每分鐘會有一次 commit，因此一個月至少有 43.2k 次。），被 github 站方通知此自動生成的頁面耗去不少資源，因此我另外架在 linode 上。網址為：
*http://g0v-data-mirror.gugod.org/
- 基本上把原網址的 "http://g*v-data.github.io/g0v-data/" 代換成 "http://g0v-data-mirror.gugod.org/" 即為新網址。
+ 另有 github.io 的網址： http://g*v-data.github.io/g0v-data/ ，但不會即時更新。
者
（9 行未修改）
|
||
| 2014-01-24 11:17 – 11:44 | r1243 – r1530 | |
顯示 diff（1 行未修改）
本專案的目的，在於自動修復 *.gov.tw 各資料源的格式問題，以加速化目前開放資料來源的應用。
- 經過修復的資料，列於：http://g0v-data.github.io/mirror/
+ 經過修整後資料，列於：http://g0v-data-mirror.gugod.org/
+
+ （註：原 http://g0v-data.github.io/mirror/ 仍可使用，但由於 github 方面要求，更新頻率較慢。）
*來龍去脈
（46 行未修改）
*http://github.com/g0v/magic-mirror
*http://github.com/g0v-data/mirror/
- *hackfoldr 工作資料夾網址：
+ # 內容為自動產生*hackfoldr 工作資料夾網址：
*google drive 共用資料夾網址：
*irc channel：#g0v.tw
（4 行未修改）
目前 magic-mirror 中的程式碼已設定為定時執行，自動將新版的資料推入 http://github.com/g0v-data/mirror/ 當中。以政府網站域名做為資料夾。目前所有資料表列於：
- http://g0v-data.github.io/mirror/
+ http://g0v-data-mirror.gugod.org/
各資料源的 URL 及檔名對應、時程等等，設定檔為 JSON 格式放在源碼的 etc/ 目錄中。
（2 行未修改）
*https://github.com/g0v-data/mirror/blob/gh-pages/water/suspension.csv
- *http://ggv-data.ithub.ciog0v-data/mater/suspension.csv
+ *http://gv-data.github.io/g0v-data/water/suspension.csv
- *http://g0v-data.github.io/mirror/aec/gammamonitor.json
- *開發者
+ 註：github 站方通知此自動生成的頁面耗去不少資源，由於累計 commit 數極多（目前為止為 250k。至少每分鐘會有一次 commit，因此一個月至少有 43.2k 次。）因此我另外架在 linode 上。網址為：
+
+ *http://g0v-data-mirror.gugod.org/
+
+ 基本上把原網址的 "http://g*v-data.github.io/g0v-data/" 代換成 "http://g0v-data-mirror.gugod.org/" 即為新網址。
+
+ 者
術gugod分工與成員
（7 行未修改）
|
||
| 2013-08-23 05:45 – 05:46 | r1221 – r1242 | |
顯示 diff（1 行未修改）
本專案的目的，在於自動修復 *.gov.tw 各資料源的格式問題，以加速化目前開放資料來源的應用。
+ 經過修復的資料，列於：http://g0v-data.github.io/mirror/
*來龍去脈
（78 行未修改）
|
||
| 2013-08-14 07:08 – 07:10 | r1167 – r1220 | |
顯示 diff（58 行未修改）
*運行狀態
- 目前 magic-mirror 中的程式碼已設定為定時執行，自動將新版的資料推入 http://github.com/g0v-data/mirror/ 當中。以政府網站域名做為資料夾。各資料源的 URL 及檔名對應、時程等等，設定檔為 JSON 格式放在源碼的 etc/ 目錄中。
+ 目前 magic-mirror 中的程式碼已設定為定時執行，自動將新版的資料推入 http://github.com/g0v-data/mirror/ 當中。以政府網站域名做為資料夾。目前所有資料表列於：
+
+ http://g0v-data.github.io/mirror/
+
+ 各資料源的 URL 及檔名對應、時程等等，設定檔為 JSON 格式放在源碼的 etc/ 目錄中。
g0v-data/mirror/ 設定以 gh-pages 為主要 branch，因此也有 github.io 網址可用。以「停水通知」（water/suspension.csv) 為例，以下分別為網頁觀看版與下載版：
（16 行未修改）
|
||
| 2013-08-13 21:11 – 21:11 | r1162 – r1166 | |
顯示 diff（64 行未修改）
*https://github.com/g0v-data/mirror/blob/gh-pages/water/suspension.csv
*http://ggv-data.ithub.ciog0v-data/mater/suspension.csv
+
+ *http://g0v-data.github.io/mirror/aec/gammamonitor.json
*開發者
（8 行未修改）
|
||
| 2013-08-12 20:00 – 20:14 | r660 – r1161 | |
顯示 diff（2 行未修改）
- *來龍去脈（想解決什麼問題）
+ *來龍去脈
在 data.gov.tw 上條列出了許多目前政府機機關有開放出的資料。不過有仍有幾點問題：
*許多資料 URL 會定期更新，而在更新之後，舊版的資料便無法取得
*非定期更新的資料是否也適合經過本專案管理，好統一來源？
+ *也適合。在本地端設定更新周期後（比方說兩周），定時更新。畢竟無法事先得知遠端是否有更新再下載。簡單地說就是定期抓下來備份。
*有許多資料為 CSV 格式，但各欄位的內容與格式卻良萎不齊
*資料 URL 分佈各站，且不容易得知各資料表中各筆資料是否彼此之間有關聯性
（20 行未修改）
專案目前狀態
- **構想 / 規劃 / 雛形 / 作
+ **作
- *目標與功能（要如何解決）
- 預定使用者
+ *目標與功能（預定使用者
+ *其他開發人員。
預定功能
使用方式
-
- *實做細節（非技術背景可跳填）
+ *可透過 github.io 網址取得 json 格式的資料。
+ *實做細節（
使用技術
- *使用的 vagrant box 版本 / 網址：
-
+ *使perl
協作工具
*github repo：
（4 行未修改）
*irc channel：#g0v.tw
- 產出檔案格式
- 進度與 to-do
- *僅供參考
- *product planning（recommanded procedure from justin lee / 李易修）
- *strategy
- *scope
- *structure
- *wireframe
- *visual
- *web front-end
- *web back-end
- *ui / visual design
+ *運行狀態
- 現有成果
+ 目前 magic-mirror 中的程式碼已設定為定時執行，自動將新版的資料推入 http://github.com/g0v-data/mirror/ 當中。以政府網站域名做為資料夾。各資料源的 URL 及檔名對應、時程等等，設定檔為 JSON 格式放在源碼的 etc/ 目錄中。
+ g0v-data/mirror/ 設定以 gh-pages 為主要 branch，因此也有 github.io 網址可用。以「停水通知」（water/suspension.csv) 為例，以下分別為網頁觀看版與下載版：
- *開發者
+ *https://github.com/g0v-data/mirror/blob/gh-pages/water/suspension.csv
+ *http://ggv-data.ithub.ciog0v-data/mater/suspension.csv
- 技術指導
+ *開發者
- 分工與成員
+ 術gugod分工與成員
*NeedsWriter: 需要文案幫手（撰寫基本資訊、報導專案etc）
*NeedsDesigner: 需要介面設計
（5 行未修改）
|
||
| 2013-08-12 20:00 | r659 | |
顯示 diff（6 行未修改）
*許多資料 URL 會定期更新，而在更新之後，舊版的資料便無法取得
- * 非定期更新的資料是否也適合經過本專案管理，好統一來源？
+ *非定期更新的資料是否也適合經過本專案管理，好統一來源？
*有許多資料為 CSV 格式，但各欄位的內容與格式卻良萎不齊
*資料 URL 分佈各站，且不容易得知各資料表中各筆資料是否彼此之間有關聯性
（75 行未修改）
|
||
| 2013-08-12 20:00 – 20:00 | r657 – r658 | |
顯示 diff（31 行未修改）
專案目前狀態
- *構想 / 規劃 / 雛形 / 實作
+ **構想 / 規劃 / 雛形 / 作
（50 行未修改）
|
||
| 2013-08-12 20:00 | r656 | |
顯示 diff（6 行未修改）
*許多資料 URL 會定期更新，而在更新之後，舊版的資料便無法取得
- *
+ * 非定期更新的資料是否也適合經過本專案管理，好統一來源？
*有許多資料為 CSV 格式，但各欄位的內容與格式卻良萎不齊
*資料 URL 分佈各站，且不容易得知各資料表中各筆資料是否彼此之間有關聯性
（75 行未修改）
|
||
| 2013-08-12 20:00 – 20:00 | r635 – r655 | |
顯示 diff（25 行未修改）
*g0vre
*aec-data
- *衍生自某專案/衍生出某專案/API串接自某專案...etc.
授權方式
- *程式碼部分（如 MIT/BSD）
- *文件部分（如 CC-BY）
-
+ *程式碼部分 CC0*文件部分（ CC0
使用資料
（54 行未修改）
|
||
| 2013-08-12 20:00 – 20:00 | r629 – r634 | |
顯示 diff（6 行未修改）
*許多資料 URL 會定期更新，而在更新之後，舊版的資料便無法取得
- *
+ *
*有許多資料為 CSV 格式，但各欄位的內容與格式卻良萎不齊
*資料 URL 分佈各站，且不容易得知各資料表中各筆資料是否彼此之間有關聯性
（78 行未修改）
|
||
| 2013-08-12 20:00 | r628 | |
顯示 diff（23 行未修改）
相關專案
-
*g0vre
*aec-data
（62 行未修改）
|
||
| 2013-08-12 20:00 | r627 | |
顯示 diff（90 行未修改）
|
||
| 2013-08-12 20:00 – 20:00 | r625 – r626 | |
顯示 diff（25 行未修改）
*g0vre
- *aec
+ *aec-data
*衍生自某專案/衍生出某專案/API串接自某專案...etc.
（60 行未修改）
|
||
| 2013-08-12 20:00 | r624 | |
顯示 diff（6 行未修改）
*許多資料 URL 會定期更新，而在更新之後，舊版的資料便無法取得
+ *
*有許多資料為 CSV 格式，但各欄位的內容與格式卻良萎不齊
*資料 URL 分佈各站，且不容易得知各資料表中各筆資料是否彼此之間有關聯性
（79 行未修改）
|
||
| 2013-08-12 20:00 – 20:00 | r619 – r623 | |
顯示 diff（23 行未修改）
相關專案
- *
+ *g0vre
+ *aec
*衍生自某專案/衍生出某專案/API串接自某專案...etc.
（60 行未修改）
|
||
| 2013-08-12 20:00 | r618 | |
顯示 diff（88 行未修改）
|
||
| 2013-08-12 20:00 – 20:00 | r616 – r617 | |
顯示 diff（23 行未修改）
相關專案
+ *
*衍生自某專案/衍生出某專案/API串接自某專案...etc.
（60 行未修改）
|
||
| 2013-08-12 19:59 – 19:59 | r614 – r615 | |
顯示 diff（87 行未修改）
|
||
| 2013-08-12 19:43 – 19:59 | r1 – r613 | |
顯示 diff- Untitled
+ magic-mirror
+ 本專案的目的，在於自動修復 *.gov.tw 各資料源的格式問題，以加速化目前開放資料來源的應用。
- This pad text is synchronized as you type, so that everyone viewing this page sees the same text. This allows you to collaborate seamlessly on documents!
+
+ *來龍去脈（想解決什麼問題）
+ 在 data.gov.tw 上條列出了許多目前政府機機關有開放出的資料。不過有仍有幾點問題：
+
+ *許多資料 URL 會定期更新，而在更新之後，舊版的資料便無法取得
+ *有許多資料為 CSV 格式，但各欄位的內容與格式卻良萎不齊
+ *資料 URL 分佈各站，且不容易得知各資料表中各筆資料是否彼此之間有關聯性
+
+ 為此，希望能有一中介的鏡像站一併解決上述三項問題。
+
+ *定時備份原始資料，並存入 git，因此也能回頭再取得舊版
+ *將各 CSV （或其他）格式的檔案轉成 JSON，以便其他程式利用。並同時修復內容中的格式錯誤。其他程式可利用 github （或其他）做為資料源的。
+ *各資料檔之間若有關聯，也可另行合併一次，另做成去正規化的輸出。
+
+ 牽涉領域：基礎建設
+
+ 現有類似專案
+
+ 相關組織單位：
+
+ 相關專案
+
+ *衍生自某專案/衍生出某專案/API串接自某專案...etc.
+
+ 授權方式
+ *程式碼部分（如 MIT/BSD）
+ *文件部分（如 CC-BY）
+
+ 使用資料
+
+ 專案目前狀態
+ *構想 / 規劃 / 雛形 / 實作
+
+
+ *目標與功能（要如何解決）
+ 預定使用者
+
+ 預定功能
+
+ 使用方式
+
+
+ *實做細節（非技術背景可跳填）
+
+ 使用技術
+ *使用的 vagrant box 版本 / 網址：
+
+ 協作工具
+ *github repo：
+ *http://github.com/g0v/magic-mirror
+ *http://github.com/g0v-data/mirror/
+ *hackfoldr 工作資料夾網址：
+ *google drive 共用資料夾網址：
+ *irc channel：#g0v.tw
+
+ 產出檔案格式
+
+ 進度與 to-do
+ *僅供參考
+ *product planning（recommanded procedure from justin lee / 李易修）
+ *strategy
+ *scope
+ *structure
+ *wireframe
+ *visual
+ *web front-end
+ *web back-end
+ *ui / visual design
+
+ 現有成果
+
+
+ *開發者
+
+ 技術指導
+
+ 分工與成員
+ *NeedsWriter: 需要文案幫手（撰寫基本資訊、報導專案etc）
+ *NeedsDesigner: 需要介面設計
+ *NeedsData: 需要資料（擷取、清理）
+ *NeedsTech: 需要技術支援（程式、架站 etc)
+ *NeedsProcess: 需要幫忙設計作業流程
+ *NeedsTalkingToRealPerson: 需要有人幫忙和其他機關聯絡
+ *設定成 project registry 中的 tags，需要幫忙的會自動 promote 到 g0v project hub
|
||
| 2013-08-12 19:43 | r0 | |
顯示 diff+ Untitled
+ This pad text is synchronized as you type, so that everyone viewing this page sees the same text. This allows you to collaborate seamlessly on documents!
|
||