hsuetsugu’s diary

ITの技術的なことに関して主に書きます。Rとpythonとd3.jsとAWSとRaspberryPiあたりを不自由なく使いこなせるようになりたいです。

(35連休)8日目:ARIMAモデルとdlm(動的線形モデル)による販売量予測モデルの検証

前回やっていたちょっとエンジニアぽい試行(http://hsuetsugu.hatenablog.com/entry/2014/08/21/170046)がうまくいかなくなったので少し気分を変えて、分析モデルっぽいことで確認しておきたかったことをやってみます。

動機

小売や卸の日次・週次販売量予測をする際に、dlmモデルは一般的な時系列モデル(ARIMAなど)と比べてモデルの解釈が可能であり、かつ欠損値などに強い、という話を聞いたことがあります。これまで業務でdlmを使ったことはないのですが、販売量予測をする上で例えば店舗欠品のような無視すべきデータ*1のせいで、欠品後の予測値がぶれてしまうなどという経験は多くしてきたので、ずっと気になっていました。
また、価格を説明変数としたARIMAモデルなんかも使ったりしてきましたが、いまいちきれいなモデルが組めておらず、その辺がdlmをつかうとうまくできそうだ、という話も聞いていたので、この機会に試してみます。

*1:本来需要がある日なのに店頭在庫がなかったために結果的に売上数量が0になるため

続きを読む

(35連休)7日目:Raspberry Pi,fluentd,TreasureData,AWS,d3.jsを使った自宅の温度・湿度データモニタリングと可視化②

風邪がこじれて寝込んでしまってました。平日連続更新できなかった・・・。

今回は、前回http://hsuetsugu.hatenablog.com/entry/2014/08/18/095610の続きで、センシングしたデータを可視化していきます。なんか無駄な手順な気もしますが、AWSのS3にTreasureDataのデータをtable dumpしたうえでRDSに格納し、WEB画面を構築していきます。

前回実施したこと

Raspberry Piにfluentdをインストールして、Raspberry Piに接続した温度・湿度計測センサーからの取得データをTreasureDataに格納するところまで実施しました。

続きを読む

(35連休)6日目:Raspberry Pi,fluentd,TreasureData,AWS,d3.jsを使った自宅の温度・湿度データモニタリングと可視化①

今回は、これまで準備したいろいろな要素技術を組みあわせて、自宅の温度、湿度を定期的に自動でTwitterに投稿し、経時での変化をグラフとしてみれるようなWEB画面を構築しようと思います。

背景

私が好きな、NHK Eテレの最終土曜日にやっている「NHK 新世代が解く!ニッポンのジレンマ」という番組で、前回(7月末の回)のテーマだった「僕らのアグリビジネス論」にて、農地で温度・湿度をはかるセンサーをおいて30分おきとかに計測して、Twitterにその場で自動的に投稿して、自宅や外出さきでも自分の農地の状態がみれるようなものが紹介されていました。
また、最近のカンブリア宮殿でも、北海道の浜中町という町で、農協が各酪農家から牛乳を2日に1回集めて、成分分析をして酪農家に結果をフォードバックし、酪農家はその結果に基づいて飼料の配合を変えるなど手をうっていく、というような事例も紹介されていました。
2014年8月14日放送 浜中町農協組合長 石橋 榮紀(いしばし しげのり)氏|カンブリア宮殿:テレビ東京

やっぱこういう時代なんだな〜とか思いつつ、1つめのようなものはRaspberryPi使って簡単に作れそうだったので、やってみることにしました。

続きを読む

(35連休)5日目:Raspberry Pi(fluentdのインストール〜TreasureDataへのデータ送信)

いくつかRaspberry Piをさわってみて、下記のようなものができそうな気がしてきました。

  • 温度、湿度のセンサーを取り付けて、アラート的にtwitterに投稿、定時にAWSへデータ送信し、AWS側でd3.jsを使った可視化を行う。
  • カメラで取得している画像をリアルタイムで子供の顔を認識したらその画像を自動的に保存する。

これくらいできるとなんかM2Mっぽくてよい感じです。

まずはその準備として、fluentdをインストールしてみます。fluentdも名前はよく聞いていましたが、使うのは今回が初めてです。

続きを読む

(35連休)4日目:Raspberry Pi(OpenCVのインストール〜リアルタイム顔認識)

Raspberry Piでのロボット工作として、OpenCVの活用、Siriの活用を考えています。今回はまずOpenCV自体これまで使っていなかったので、インストールから簡単な画像処理までを実施しました。
一旦、顔認識するところまでは確認できたので、一旦OpenCVから離れてまた複合的に使っていきたいです。

OpenCVとは

引用:OpenCV - Wikipedia

OpenCV(オープンシーヴィ、英語: Open Source Computer Vision Library)とはインテルが開発・公開したオープンソースのコンピュータビジョン向けライブラリ[1]。 現在はWillow Garage(ウィロー・ガレージ)が開発を行っている

日本語のサイトはこちら。→OpenCV.jp

最近はscilit-imageなど、新しいものも出てきているみたいですが、OpenCVすら使っていないので、違いも何もわかりません。
scikit-image: Image processing in Python — scikit-image

続きを読む

(35連休)3日目:AWS(MACでのAWS上のd3.jsを使った画面構築)

本日は、RaspberryPiから少し離れて、かなり前にアカウント作ったAWS上でd3.jsを使ったページを構築しました。*1
まずはこれまでWindowsからしかやってこなかったAWSへの接続を、MACから実施する必要がありました。特につまづいたところはないですが、念のためメモ。その上で、OpenLayorを使ってd3.jsで放射線の線量観測データを可視化しました。

AWSの初期設定はここに記載しています。
http://hsuetsugu.hatenablog.com/entry/2014/07/09/095336

*1:ジャンパワイヤなど、電子工作に必要な部品群がそろっていないため。

続きを読む

(35連休)2日目:Raspberry Pi(FTP接続、TwitterBot、ApacheWebサーバー構築)

まずは1日目に記載した、RaspberryPiの環境構築の続き。

PCからFTPでファイルやりとりするのに、CyberduckというFTPクライアントをいれてやってみようとしたがエラーになったので、修正点をメモ。

続きを読む