Hackpads are smart collaborative documents. Join Hackpad Now.

ddio Juan

7 days ago
Unfiled. Edited by ddio Juan 7 days ago
  1. `DONE` 591
 
  1. `DONE` 案號
  1. `DONE` 縣市、鄉鎮市區
  1. `版權資料,不散佈` 照片
  1. `DONE` 頂加、地下室、隔間(如果查得出來)
  1. `DONE` 刊登時間、更新時間、關閉時間
  1. `DONE` 租金
  1. `DONE` 坪數
  1. `DONE` 身份限制(學生、上班族)
  1. `DONE` 性別
  1. `DONE` 提供的設備
  1. `版權資料,不散佈` 特色說明
ddio J
  1. 刊登者代碼(可用 md5 去識別化)
  1. 大概的地點 / gps + 半徑?
  1. 同一物件的歷史資料 / 變化
  1. 連結外部資料
  1. 土地與建物資料,例如坪數、樓層、屋齡
  1. 資料處理方式
  1. `DONE` 抓下來後保留原始檔,方便加入演算法時,可以重跑
  1. `DONE` 清理資料,將可編碼的資料整理乾淨
 
  1. 詐騙房屋
  1. 盜圖
  1. 合併跨平台、平台內的相同物件
 
  1. `DONE` 儲存結果
 
  1. 原型機零號
  1. `DONE` 資料下載 +資料集說明
  1. 原型機初號
  1. 更詳細的資料下載頁面,包含
  1. 每個 csv 最後更新時間、使用的欄位版本 + 資料集成熟度(x.x beta / x.x)
  1. 說明資料集版本的意含
  1. 提供原始資料外的延伸資料集,例如
  1. 重複物件列表
  1. 疑似頂加列表
  1. 應該是住宅 flag
  1. 原型機二號
  1. 物件時光機,顯示單一物件的詳細資料
  1. 解決 CSV 不方便預覽,而且沒有照片、說明和標題的問題
  1. 包含因著作權而無法散佈的資料,限制只有人類可以讀取,加註警語
  1. 有趣的統計結果視覺化
  1. 原型機三號
  1. 傳統資料庫模式,選定過濾條件,顯示結果表格,並提供下載,滿足研究者基本需求(因為本坑的源頭是薪資與租屋居住品質關聯調查 <3)
  1. 原型機四號:
  1. 提供較友善的互動界面,協助研究者找出有趣/想要的資料
 
開放資料
  1. 在 Google Drive 上定期上傳每月、每季、每年的資料
  1. API ?
 
  • 實做順序
 
Release 0.1
 
  • 搜尋界面:原型機零號
  • 資料下載 +資料集說明
 
Release 0.2
  • 爬資料:
  • 增加`爬資料 2.l` 張貼者編碼 + `2.m` 粗略 GPS
  • 增加 `爬資料 3.e` 重複物件偵測
ddio J
  • 有產業專家回報,可能會有屋主將同一物件交給多名仲介交易的情況,所以網站上應該會抓到很多重複,而且發文者不同的相同物件 orz..
kiang
  • 而且實務上也常有假資料,像是給錯誤的地址、盜圖使用等等,因為有些案件一公開就會一堆仲介想辦法找到屋主資訊去爭取委託,導致仲介之間基於競爭關係會給很模糊的資料,在有實際買家接觸時才會帶到真正地點看屋,網路只是用來宣傳
  • 找同網站的第二資料來源來驗證爬蟲正確度
  • 搜尋界面:原型機初號
  • 更詳細的資料下載頁面
  • 物件時光機
 
Release 1.0
TBD
 
 
  • 歷次黑客松與支線任務
第參拾次佛系黑客松 - 不住頂加有多難
  • 此區開放聊天與筆記~~~
  1. 30 次佛系黑客松成果:
  1. from Lucien -法律問題都解決,爬蟲原始碼和資料都可以公開了~
  1. from ronny - 可以用使用執照 / 建照查詢房屋樓層(如果地址有公佈的話)
  1. from poga -可以用 Metabase 作大表格的查詢、視覺化,不需要寫程式或 sql
  1. 下一步:開放資料 + API + 讓頂加標注更方便
 
  1. 可能的頂加辨認方向:
  • 拿已經標註頂加的資料當訓練資料?
  • 數字裡的資訊:
  • 價位 x 房型 x樓層?
  • 文字裡的資訊:
  • 大陽台
  • 圖片裡的資訊:
  • 輕鋼架
  • 大陽台
 
簡單的異常值條件
 
  1. 物件與建物類型:
...
8 days ago
Unfiled. Edited by ddio Juan 8 days ago
  • Airbnb
  • 報載做了「台灣房市交易信心調查結果」,「...租房族群民調結果顯示,每月房租以「5000-10000元」居多(佔32.2%),坪數在20坪以下為主(佔59.2%)」,但查無調查資料,論壇似乎無公開。
 
13 days ago
Unfiled. Edited by ddio Juan 13 days ago
ddio J :emoji_1f3e0: 這裡有一批租屋資料很開放?!】
ddio J
  • 原本想用 emoji, 但好像貼不上來 XD 方便的話請用  U+1F3E0
  •  
想知道網路上一個月有多少房屋出租,不同房屋的差異又是什麼嗎?
除了利用公開的統計結果外,也想要自己動手,用原始資料分析嗎?
以 591 租屋網為首發資料來源,接下來也希望加入其他租屋網與品牌公寓的「台灣民間租屋資料」,從程式到資料,全部開源中。目前已經釋出五月份未過濾的所有租屋的資料,接下來也會持續開發,改善資料品質,預計每月、每季、每年定期釋出,無論居家練功、還是送禮切磋,開放台灣民間租屋資料,都是不錯的選擇~
 
找資料,來開放台灣民間租屋資料網站:https://rentalhouse.g0v.ddio.io
想協作,來看專案頁面: https://g0v.hackpad.tw/Ih7Jp4pUD5y
在觀望,來看資料描述與專案緣起: https://medium.com/@ddio/announcing-open-tw-rental-data-b81039759128
 
 
 
 
 
40 days ago
Unfiled. Edited by ddio Juan 40 days ago
  • 提供家具 => boolean list
 
110 days ago
Unfiled. Edited by ddio Juan 110 days ago
  • SEO (較快建立 Google 搜尋)
ddio J
  • OG tag
 
152 days ago
208 days ago
Unfiled. Edited by ddio Juan 208 days ago
徵求大使幫忙在分組時幫忙新參者找坑或簡單說明黑客松規則(不少新參者會有點茫然)。有參與過黑客松,並願意幫忙的請簽名:
 

Contact Support



Please check out our How-to Guide and FAQ first to see if your question is already answered! :)

If you have a feature request, please add it to this pad. Thanks!


Log in / Sign up