Hackpad 封存器 - g0v

盤點線上協作資料(庫)方案

最後編輯：2022-08-21 建立：2016-10-16 歷史紀錄
協作

CHE L資料欄位：Google Spreadsheet、Airtable、Evernote

地圖介面：TGOS地圖...等

 

    CHE LGoogle Spreadsheet

 

CHE L匯入資料

  • 無痛爬梳自己來，用 Google Spreadsheet 爬取網頁資料
  • Listly 幫你自動抓取網頁資料轉成Excel表格
    • https://www.thenewslens.com/article/87299
  • Google 文件試算表跨檔案取資料
    • http://fireball-catcher.blogspot.tw/2012/08/google.html

 

內容協作

  • 貢獻者於 spreadsheet 頁面協作，輸入內容
  • 2020 總統候選人事實查核計畫為 READr 所發起的候選人言談檢視平台
    • https://www.readr.tw/post/2019
    • 摘：候選人資料的蒐集則是透過群眾協作（影音轉成逐字稿的工人智慧）達成。所以除了讀者以外，還得串起協作的鄉民、查核的媒體。而我們使用 Google spreadsheet 串起整個流程，這篇筆記是獻給沒有時間自己架資料庫、希望開放使用者進行協作網頁內容的人們。
  • 也可以透過「表單」讓使用者填報單筆資料
    • 免費簡單架設報名徵選傳檔網頁， Google 表單上傳檔案開放了
      • http://www.playpcesor.com/2017/07/google-forms-file-uploader.html
    • Google 表單外掛 Email Notifications for Forms （用來寄出通知信件）
      • https://chrome.google.com/webstore/detail/email-notifications-for-f/acknfdkglemcidajjmehljifccmflhkm?utm_source=permalink
    • formRecycler 外掛，把 A 表單已經設計過的單一問題，複製到 B、 C 等更多表單中
      • http://www.playpcesor.com/2018/01/google-form-formrecycler.html
    • 「 Typeform 」後台可以透過［Integrate］，自動同步匯出成 Google 試算表
      • https://www.facebook.com/playpc/posts/10155183225032108
    • 「Email Notifications for Google Forms」 2018 年還保持更新，可以根據表單內容，客製化確認郵件，並且自動寄信給填寫成功的填表者
      • http://www.playpcesor.com/2018/01/google-forms-email-notifications.html
    • GOOGLE表單有更新就自動LINE你
  • 團訂與菜單
    • https://www.facebook.com/groups/f2e.tw/permalink/1505341129503247/
    • 用 google apps script + google sheet，可以直接讓 google host，並把訂單結果輸出到在 google 雲端硬碟的表單
  • 運用 Google API 製作空間提報工具

表格範本

  • 試算表範本下載百種專業工作表格
    • https://www.playpcesor.com/2015/12/excel-google-templates-download.html

資料延伸的功能

 

提供 API / 內嵌入網頁

  • Google 資料庫方案–Spreadsheet–(1)資料呈現
  • Turn a Google Spreadsheet into a REST API
  • 超簡單網頁表格製作！免語法用 Google 試算表教學
    • http://www.playpcesor.com/2016/02/html-web-table-google-sheet.html
  • 利用 Google 試算表 (Google Sheet) 作為外部資料來源
    • https://kuro.tw/posts/2018/08/27/%E5%88%A9%E7%94%A8-Google-%E8%A9%A6%E7%AE%97%E8%A1%A8-Google-Sheet-%E4%BD%9C%E7%82%BA%E5%A4%96%E9%83%A8%E8%B3%87%E6%96%99%E4%BE%86%E6%BA%90/
  • Sheetgo

 

發布流通

 

 

展示

 

Geocoding in Google Docs: GeoJSON boundaries with Koordinates

https://schoolofdata.org/2013/10/31/geocoding-geojson-boundaries-koordinates/

 

時間地圖

  • TimeMapper
    • http://timemapper.okfnlabs.org/
    • Spreadsheet 必備的欄位是Title還有Start。
    • 如果只是建立地圖，Start可以不需要。 記得在TimeMmapper使用的欄位之外，你可以加任意數量的其他欄位
    • Spreadsheet 與地圖，內容會即時連動
    • 若欄位放 polygon 的 geojson，可以讀出呈現於地圖，但無法點擊呈現額外文字類資訊
  • Geoevent
    • http://0media.tw/t/geoevent/
  • 時間軸 storyliner

 

資料地圖化

  • Google 試算表地理小工具
  • Google My Map
    • 圖層 import 選擇 Drive 檔案，參考影片：https://youtu.be/R2X0oRiMtWE
    • 課題探討
      • [內容是否連動？] 若在 Google My Map 新增點位或是移動、編輯內容等動作，Google Spreadsheet 內容是否會一起修改？
        • Ans: 不會 ! 各自獨立
      • polygon 能否呈現？
  • Google Fusion Tables
    • https://youtu.be/5l7IyS3u4w8
    • https://kuro.tw/posts/2015/10/15/using-google-fusion-table-without-writing-code-or-topic-maps/
  • Plotdb
    • https://plotdb.com
    • 課題
      • [內容是否連動？]
  • BatchGeo
    • https://tw.batchgeo.com/
    • 課題探討
      • 無法有圖層
  • Awesome Table - a tool that allows users to visualise Google sheets into maps, tables, graphics, cards, etc. without coding skills.
    • https://sites.google.com/site/scriptsexamples/available-web-apps/awesome-tables/add-ons
    • 操作說明文章
      • How to: create maps with interactive tables from Google spreadsheets
        • https://dinfografia.wordpress.com/2016/08/03/maps-with-interactive-tables-from-google-spreadsheets/
    • Demo: 社區營造資料
    • 欄位篩選的指令 整理在 這個頁面中：https://bit.ly/2lJ6qId
      • 例如：同欄位內的交集或聯集
      • 例如：該欄位資料內容是顯示在上方地圖或下方table
    • 課題
      • [內容是否連動？]
        • ？
      • 如果不是用地址定位，而是資料集內即有經緯度，Awesome Table 仍需要透過再定位的方式，但新的位置有偏差
        • 原始：25.124804, 121.530661
        • 新定位：25.1248835, 121.5307158

QMO L

 

 

時序歷程

 

CHE L圖文網頁

 

QMO L幫歷史角色創建一個 FB 訊息牆

 

Crossfilter

  • IsotopeFilter & sort magical layouts
  • Crossfilter is a JavaScript library for exploring large multivariate datasets in the browser.
  • Falcon SQL Client
  • 滾動敘事＋互動 database
  • sheet2site，提供分類標籤功能
    • https://www.sheet2site.com/
      • 有提供 filter 多選
    • 使用建議：若內容會使用到經緯度，又不想 Card 與 Map 重複編輯兩個頁面
      • 以 Cards 作為持續編修頁面，Map 分頁的欄位內容都用連動公式 call 出 Cards 分頁內的內容。
      • 以 Map 作為持續編修頁面，Card 分頁的欄位內容都用連動公式 call 出 Map 分頁內的內容。在 Map 分頁依照順序增加以下欄位
        • Image Link
        • Filter by this
        • Button Text
        • Detailed Description
        • Card 分頁的欄位內容都用連動公式
          • =IMPORTRANGE(" sheet的特有ID字串 ", "Map!A8:A60")
    • 檢查
      • 網址不要斷行，特別是「地圖 Map 分頁」的欄位內容
    • 使用情境：若該主題同步於 Airtable 蒐集編修中，能否從 Airtable call 出內容？
      • 路徑構想：
        • Airtable 作為持續編修頁面
        • Airtable ---> Airtable Importer ---> Sheet 資料清單
        • Airtable ---> Airtable Importer ---> Sheet 標籤清單
        • Sheet 資料清單 ---> Sheet2site-Card 分頁 & Map 分頁
        • Sheet 標籤清單 ---> Sheet2site-Filters 分頁
        • Site
      • 已知課題
        • Filters
          • sheet2site 的標籤清單，要另外有一個 sheet 來取得 Airtable 的標籤清單
          • sheet2site 的標籤區隔，要用 ","，但是 Airtable 匯入後，Airtable Importer by Railsware 採用斷行
          • 目前作法：
            • Airtable 的每一個標籤字詞後方，加上","
            • 這樣至少 sheet2site 後台的 Card 分頁裡的 Filter 欄位，不需手動加工
            • 但要手動調整 sheet2site 後台的 Filter 分頁裡的字詞，手動刪去","
      • 試做

 

 

圖表視覺化

 

圖片類

 

App / Line

 

 

把 spreadsheet 當成網頁後台

 

翻譯

 

 

Try: form+timemap

 

 

注意事項與課題討論

 

    CHE L關於資料集內容

  • 依據主題內容，可以先參考 schema.org 對於同類型資料的定義、欄位架構
  • http://standards.theodi.org/
  • 若使用套裝展示方案，需要配合調整資料集的欄位項目，例如若要使用 TimeMapper，則 Spreadsheet 必備的欄位是 Title 還有 Start
  • polygon
    • 資料內容如果需要呈現 polygon，在 spreadsheet 的架構下有可能實現嗎？
    • 如果不行，有可能在展示環節、或是其他方式呈現嗎？
  • 針對誤刪、防呆、歷史版本是否能記錄？
    • 如何 Google 試算表多人共用不出錯？保護儲存格工作表範圍技巧
      • http://www.playpcesor.com/2016/10/google-sheet-protect.html
  • Spreadsheet 能否將更新動作都寄通知到信箱？
  • 採用 Google Spreadsheet 做為應用程式資料庫(如問卷調查或線上系統) 目前的儲存限制為 :
    • 40 萬個儲存格
    • 每張工作表最多 256 欄
  • 對 CSV 資料下 SQL 指令
    • https://www.facebook.com/TajfunInsulo/posts/1424071467628992

 

    促進良好的協作

  • Spreadsheet 的內容協作規則要明確
  • 資料授權
    • 要如何讓想要協作的人，了解本資料的授權狀況？
    • 要如何在 spreadsheet 註明資料的授權狀況？
    • 在協作歷程中，如果希望變更資料授權狀況，例如從 cc0 變成 cc-by，這要如何決定？
    • 是否選擇 Odbl 或是其他資料集應用的授權條款會更適合 spreadsheet 協作所需要的授權選擇？
  • 可以考慮設立網路社團，提供參與該資料協作的貢獻者進行交流溝通。

 

 

#### 試算表：從生活中找到共筆主題

- Google Sheet

- 共筆主題

- 如何串聯全台蔬菜箱的共筆：\ 宅在家買菜共筆 /

- 外帶外送打折的店家或便當店

- Sheet2____

- Sheet2site：以 Google sheet 作為資料後台，提供標籤式查找的網頁

- 使用案例：遠距心理諮詢訊息彙整 http://bit.ly/g0vpsymap

- BUT 是否適合公開介紹？評估：以前有免費版，但近年官網已沒有免費版，但掛上 sheetID 仍可以顯示

- glide：把 Google sheet 呈現為 App 樣式

- https://taiwan2020.glideapp.io

- https://www.facebook.com/groups/g0v.general/permalink/2622132134529843/

- 其他各式各樣的蒐集：https://g0v.hackpad.tw/5Ofw64qSz7P

 

    CHE LAirtable

CHE L操作簡介

  • Airtable 最強大線上表格製作，免費資料庫重整任何事
    • http://www.playpcesor.com/2016/06/airtable.html
      • Airtable 可以把不同分頁的資料表互相連結，把資料表單變成一個知識資料百科
      • 案例參考：https://airtable.com/shremVilYEwWXU05c
  • 影片：https://youtu.be/7aeqnzZYrdI
  • 演講：https://youtu.be/BP3otFMLwm0

 

特色版型

  • 問卷
    • https://airtable.com/templates/product-design-and-ux/expoiiRjvXfMHtXtC/user-surveys
  • Airtable2site
  • Softr
    • https://www.softr.io/

 

課題待確認

  • 欄位列上限數量？
    • 有！
  • 測試後發現將 CSV 檔的編碼方式由 ANSI 改為 UTF-8 可解匯入中文亂碼問題
  • 資料地圖化
    • 收費版本有提供內建的地圖化方案
    • Airlift: Mapbox + Vega-Lite 多邊形地理資料
      • https://community.airtable.com/t/custom-app-mapbox-vega-lite/35880
    • use Zapier and the Google Maps API
      • https://community.airtable.com/t/zapier-map-entire-table-of-addresses-with-latitude-longitude-via-google-maps-api/1871/4
    • 匯出
      • 能否有「Airtable→GoogleSpreadsheet→Map」的方案？
        • 算是有，參考下方

 

匯出匯入類

 

各類使用經驗

 

 

    CHE LNocoDB

  • CHE Lhttps://www.nocodb.com/
  • github：https://github.com/nocodb/nocodb

 

    CHE LList Box

CHE LList Box 清單力量 OPEN SOURCE：跟網友一起蒐集清單資料的系統

 

 

    CHE L採用 facebook 社團 作為蒐集區

 

CHE L即時連動？

  • 早期路殺社？

 

備份

 

 

    CHE L內政部資訊中心：TGOS地圖協作平台

 

 

    CHE LMapStory.org

  • CHE Lhttps://mapstory.org/

 

 

    CHE LGitHub

  • CHE L協作案例：台糖鐵路路線
    • https://www.facebook.com/louisliufb/posts/1974497915898204
    • 特點：
      • 資料儲存格式用 GeoJSON 也是為了能夠讓 git 追蹤，可以使用和修改
      • 提供「授權」設定
      • 可以轉換成其他常用格式，如 GPX、KML

 

 

    CHE LRagic

  • CHE Lhttps://www.ragic.com/intl/zh-TW/about
  • Ragic：台灣開發 Excel 式企業雲端資料庫，取代 Excel、 ERP
    • https://www.playpcesor.com/2017/10/ragic-excel-excel-erp.html

 

    CHE LEvernote

 

 

    CHE L討論

 

CHE L工具或方案列舉

 

 

資料主題舉例

 

 

基於彙整型專案經驗

 

大概的模樣 Scope

  • user ---> one page ---> permalinks
  • tags for user
  • 資料共筆工具選擇，列舉特色經驗
    • tags 如果很多很複雜會變動與用字修改，Airtable 優於 Googlesheet，紓困措施
    • 總資料儲存格數量不多，例如：AZ 75 歲以上，22 縣市乘以 20 欄位，一頁表格 Googlesheet 可處理完
    • 回報內容
      • 會有一些但不會很多
      • 工具：Google 表單、FB 貼文留言區
    • HOWARD W使用量
      • Airtable 在操作、資料內容、串接上比較彈性方便，但有 rate limit per second，每秒上限是 5 requests，如果是熱門或者短時間內會有大量的 request 狀況，則需要注意到這個限制，不然服務會直接掛在那邊ＱＱ，嘗試過解決的方案，就是掛一台 proxy 加上 cache 機制。
  • CHE Lpage 的宣傳方式，尚待建立更好的方式
    • 後勤中心社團張貼
    • g0v 粉絲頁 與 sns 機制
    • 其他？

 

民間

  • 蔬菜箱

 

公共政策類 常見 permalinks

  • 中繼 permalinks：
    • 案例：紓困中的縣市政府資訊，採用 hackmd 標題區來彙整，且可以輸入描述文字 新竹縣紓困
  • 首長或縣市局處 FB：疫情類訊息
    • todo：首長 FBs 清單
  • 各個局處自己官網的網址