フィットネスジムに入会した

最近、地元の友人に会うたびに必ずと言っていいほど「太った?」または「ハゲた?」と言われます。「ハゲた?」の方は遺伝っぽいのでどうしようもないが、「太った?」の方は改善する余地がある。
実際に体重測ってみると、高専で一番痩せてた時期より10kg以上太ってるし、上京してからも4kg以上は太ってました。

ということで、痩せるためにフィットネスジムに入会しました。

フィットネスジムの選び方

選び方というか家から歩いて通えるという条件は外せないので、家から歩いて通える距離にあるフィットネスジムを探してみるとエニタイムフィットネスというジムしか見つかりませんでした。

選択肢こそなかったものの、このエニタイムフィットネスといジムは一ヶ月7000円で好きな時間に通い放題というなかなか好条件のジムでした。
他のジムだと、好きな時間に通い放題のプランだと軽く1万円は超えてきます。
安い代わりにプールとかは付いてないが、元々、プールに入る予定はなかったしマシン類は充実しているので問題はないです。ラッキー

目標

目標体重を決めるのも良いかと思ったけど、そもそも運動続けてると脂肪は減るが、筋肉も付いてくるので、体重の増減に一喜一憂するのもなんか違うなと思います。

なので、まずはゆるーく週2回ジムに通うという事を目標に頑張ります。



まだ、入会して2週間くらいしか経ってないですが、今のところ、週3くらいのペースで通えてます。
当初はダイエット目的でジムに入会しましたが、実際に通ってみると体を動かすことで良いストレス発散にもなっています。

この調子でどんどん痩せていきたいです。

ベイズの定理のお勉強

機械学習の基礎中の基礎であるベイズの定理について少し勉強していきます。

ベイズの定理

ベイズの定理とは、みんな大好きWikipedia先生によると

ベイズの定理(ベイズのていり、英: Bayes' theorem)とは、条件付き確率に関して成り立つ定理で、トーマス・ベイズによって示された。
なおベイズ統計学においては基礎として利用され、いくつかの未観測要素を含む推論等に応用される。
ベイズの定理 - Wikipedia

らしいです。ベイズの定理は機械学習における重要な概念です。機械学習系の参考書を読むと必ず出てくる言葉なので、ベイズの定理を理解することは機械学習を学ぶ上での最初の第一歩なのでは?と考えています。


ベイズの定理は次の式で表されます。
{P(B|A) = \frac{P(A|B)} {P(A)} \cdot P(B)}

ここで、{P(B|A)}を事後確率、{P(A|B)}を尤度、{P(A)}{P(A)}を周辺確率、{P(B)}を事前確率と呼びます。

この式は、
何も情報がない状態では事象{B}が発生する確率は{P(B)}(事前確率)である。しかし、事象{A}を観測した時、この確率は尤度と周辺確率の比({\frac{P(A|B)} {P(A)}})で修正され{P(B|A)}になる。
と解釈できます。

3人の囚人問題

式だけではいまいちイメージが湧きにくいので、
理解を深めるために3人の囚人問題をベイズの定理に当てはめて考えてみたいと思います。

ある監獄にX、Y、Zという3人の囚人がいて、それぞれ独房に入れられている。罪状はいずれも似たりよったりで、近々3人まとめて処刑される予定になっている。ところが恩赦が出て3人のうち1人だけ助かることになったという。誰が恩赦になるかは明かされておらず、それぞれの囚人が「私は助かるのか?」と聞いても看守は答えない。
囚人Aは一計を案じ、看守に向かってこう頼んだ。「私以外の2人のうち少なくとも1人は死刑になるはずだ。その者の名前が知りたい。私のことじゃないんだから教えてくれてもよいだろう?」すると看守は「Bは死刑になる」と教えてくれた。それを聞いた囚人Aは「これで助かる確率が1/3から1/2に上がった」とひそかに喜んだ。果たして囚人Aが喜んだのは正しいか?
3囚人問題 - Wikipedia

問題を整理していきます。

最初の時点では3人とも助かる確率は等しいので、「Xが助かる」という事象をAX(Alive X)とすると、事象AXが発生する確率は
{P(AX) = \frac{1}{3}}
となります。これが事前確率です。

次に囚人Xは看守に「私以外に死刑される者の名前を知りたい」と言って看守は「Yが死刑になる」と答えています。
このやりたとり(事象)が発生したことでXが助かる確率は変わってきそうですね。

看守が「Yが死刑になる」と答える事象をDY(Dead Y)とします。
Xが看守に「私以外に死刑される者の名前を知りたい」と聞いたとき、看守がとりうる選択肢は

  • 「Yが死刑になる」
  • 「Zが死刑になる」

の2つです。
よって、事象DYが発生する確率{P(DY)}{P(DY) = \frac{1}{2}}となります。

最後にXの恩赦が決定している場合に看守が「Yが死刑になる」と答える確率、{P(DY|AX)}を考えます。
こちらも、看守のとりうる選択肢は

  • 「Yが死刑になる」
  • 「Zが死刑になる」

の2つなので、{P(DY|AX) = \frac{1}{2}}です。

必要な情報がそろったので、Xが助かる確率が本当に上昇したのか確かめてみます。
今回知りたい情報は、事象P(DY)を観測した時に囚人Xが助かる確率{P(AX|DY)}です。
整理した情報をベイズの定理に当てはめます。
{\begin{eqnarray*}
P(AX|DY) &=& \frac{P(DY|AX)} {P(DY)} \cdot P(AX) \\
&=& \frac{\frac{1}{2}}{\frac{1}{2}} \cdot \frac{1}{3}\\
&=& \frac{1}{3}
\end{eqnarray*}}

なんと、看守が「Yが死刑になる」という前後でXが助かる確率は変化していませんでした。
囚人Xはぬか喜びだったことになります。

rubyで単純パーセプトロン

目的

機械学習を勉強するにあたって単純パーセプトロンから入るのは通説らしいので、僕も単純パーセプトロンから機械学習を入門します。
理論を勉強しつつ、実際に実装してみることで理解を深めることが目的です。

注意

学習中であるため、この記事に書かれている内容の正しさは保証しません。
間違っている箇所を見つけたら指摘していただけると幸いです。

単純パーセプトロンとは

単純パーセプトロンは複数の入力を受け取り、値が何らかの値に達すると発火する識別器です

識別関数

識別関数とは何らかのデータを特定のクラスタに識別する関数です。

例えば、次のようなデータを考えます。
f:id:ogidow:20160621091021p:plain

青色のデータと赤色のデータの間に直線を引くことでデータを識別できそうです。
実際に直線を引いてみます。
f:id:ogidow:20160621091459p:plain

直線より上側にあるデータが青色のデータ、下側にあるデータが赤色のデータと識別することができました。

これを式で表してみます。

直線を式で表すと
{ \displaystyle
w_0 + x_1 \cdot w_1 + x_2 \cdot w_2 = 0
}
になります。

直線より上側は青色のデータ、下側は赤色のデータなので
青色のデータは
{ \displaystyle
w_0 + x_1 \cdot w_1 + x_2 \cdot w_2 > 0
}
となり、赤色のデータは
{ \displaystyle
w_0 + x_1 \cdot w_1 + x_2 \cdot w_2 < 0
}
となります。

直線の傾きや切片を決定する
{ \displaystyle
w_0, w_1, w_2
}
が決まれば直線が一意に決まります。
今回はこの直線が識別関数となります。

単純パーセプトロンではこの
{ \displaystyle
w_0, w_1, w_2
}
を学習によって求めます。

単純パーセプトロンによる学習

単純パーセプトロンについてのおさらいです。
単純パーセプトロンは複数の入力を受け取り、値が何らかの値に達すると発火する識別器です。

雑に図で表すとこんな感じです。
f:id:ogidow:20160621094328p:plain

この図に先ほどの識別関数を当てはめてみます。

f:id:ogidow:20160624184143p:plain

この図を式で表します。
{ \displaystyle
u = \textbf{x} \cdot \textbf{w}
}

{\displaystyle
\textbf{w} = \left(
\begin{array}{c}
      w_0 \\
      w_1 \\
      w_2
    \end{array}
  \right)
}を重みと呼びます。

次に実際に学習方法を考えます。

学習の方法は

  1. 重み({w_0, w_1, w_2})にランダムな値を設定する
  2. 学習データをパーセプトロンに投げ、出力が正しいか比較する
  3. 出力が間違っていれば、重みを更新する
  4. 重みの更新が収束するまで2〜3を繰り返す

重みの更新

学習データを読み込み出力結果が間違っていれば重みの更新を行います。
重みの更新は、正しい結果を出しそうな方向に少しづつずらしていきます。
この「重みを正しそうな方向に少しづつずらす」ために誤差関数{E}というものを定義します。

誤差関数とは、「予測した結果が実際の結果とどのくらいずれているか」を出力する関数です。
誤差関数はずれが大きいほど大きな値を返すのであればどのような関数でも大丈夫ですが、
単純パーセプトロンの場合、誤差関数は
{E=max(0, -t\textbf{w}\textbf{x})}
と定義する場合が多いようです。

{t}はデータの正解ラベルで正解の場合{1}を不正解の場合{-1}となります。

この誤差関数をグラフで表してみます。誤差関数は「正解とのズレが大きいほど大きな値を返す」という特性から、
2次関数のようなグラフを描きます。
f:id:ogidow:20160622092224p:plain

重みの更新は最終的にこのグラフでいう極小値を目指します。

では、どうすれば極小値に近づくように重みを更新でききるのでしょうか。
傾きを見て、傾きが負の場合正の方向へ、傾きが正の場合負の方向へ重みをずらしていけば、
重みを極小値へ近づけていけそうです。

これを式で表してみます。
{w_i = w_i - \frac{\partial E}{\partial w_i}}

このままだと、{\frac{\partial E}{\partial w_i}}の値が大きくなりすぎるので、調整するために
学習率{p}をかけてあげます。
{w_i = w_i -p\frac{\partial E}{\partial w_i}}

この式を展開していきます。
ここで、{E=0}の場合は更新自体を行わないので、{E=-t\textbf{w}\textbf{x}}についてのみ考えます。

{
w_i - \frac{\partial E}{\partial w_i} \\
= w_i - \frac{\partial (-tw_ix_i)}{\partial w_i} \\
= w_i + tx_i
}

よって更新式は
{ w_i = w_i + tx_i}
となります。

rubyで実装

理解を深めるためにrubyで実装しました。
グラフの描画はgnuplotを使っています。

以下コードと実行結果となります。
GitHub - ogidow/Simple-perceptron-ruby

require "gnuplot"
# w1 + w2x + w3y = 0

class Perceptron
  def initialize(learning_rate, num_data)
    @w_vec = {}
    @learning_rate = learning_rate
    @num_data = num_data
  end

  def init_w_vec
    @num_data.times do
      @w_vec = {w1: rand(-10..10), w2: rand(-10..10), w3: rand(-10..10)}
    end
  end

  def predict (data)
    #p w_vec
    @w_vec[:w1] * 1 + @w_vec[:w2] * data[:x1] + @w_vec[:w3] * data[:x2]
  end

  def update (data)
    @w_vec = {w1: @w_vec[:w1] + @learning_rate * 1 * data[:label], w2: @w_vec[:w2] + @learning_rate * data[:x2] * data[:label], w3: @w_vec[:w3] + @learning_rate * data[:x1] * data[:label]}
  end

  def train (datas)
    update_count = 0
    datas.each do |data|
      result = predict(data)
      if result * data[:label] < 0
        update(data)
        update_count += 1
      end
    end
    update_count
  end

  def draw_graph(x1, y1, x2, y2, title)
    Gnuplot.open do |gp|
      Gnuplot::Plot.new(gp) do |plot|
        plot.xlabel "x"
        plot.ylabel "y"
        plot.title title

        plot.data << Gnuplot::DataSet.new([x1, y1]) do |ds|
          ds.with = "points"
          ds.notitle
        end

        plot.data << Gnuplot::DataSet.new([x2, y2]) do |ds|
          ds.with = "lines"
          ds.notitle
        end
      end
    end
  end

  def run
    #学習用データ作成
    init_w_vec
    datas = []
    @num_data.times do
      if rand > 0.5
        datas.push({x1: rand(1..100) * -1, x2: rand(1..100) * 1, label: 1})
      else
        datas.push({x1: rand(1..100) * 1, x2: rand(1..100) * -1, label: -1})
      end
    end

    ##学習開始
    ##収束条件:重みの更新がなくなったら
    update_count = 0
    5000.times do
      update_count = train datas
      break if update_count == 0
    end

    # w1 + x * w2 + y * w3  = 0
    # 分離直線の傾きと切片を求める
    slope = -1 * @w_vec[:w2] / @w_vec[:w3]
    interecept = -1 * @w_vec[:w1] / @w_vec[:w3]
    #学習した分離直線を出力
    puts "y = #{slope}x + #{-1 * interecept}"

    # 学習した分離直線を描画
    x =[]
    y =[]

    (-100..100).each do |i|
      x.push i
      y.push i * slope + interecept
    end

    draw_graph(datas.map{|v| v[:x1] }, datas.map{|v| v[:x2]}, x,  y, "perceptron")
  end
end

perceptron = Perceptron.new(0.2, 100)
perceptron.run


f:id:ogidow:20160620174831p:plain
見事に分離直線を引くことができました!!

感想

機械学習を勉強する入り口には立つことができたかなと思います。
これを機に機械学習と仲良くなっていきたいです。

アンテナサイト作った話

同期のブログのアンテナサイト作りました

http://six-antena.herokuapp.com/

f:id:ogidow:20160613143515j:plain

作った経緯
飲んだ勢いで、同期の一人に「同期ブログのアンテナサイト作るぜ!!!!!1」
と宣言したのがはじまりです。

環境
言語 :ruby
フレームワークruby on rails
インフラ :heroku

機能
データベースに登録されている同期のブログの更新情報がトップページに表示されます。
表示される内容は、各記事のタイトル、og:imageに指定されている画像とdescriptionと呼ばれる記事の概要が表示されます。
また、descriptionのない写真ブログからも記事を取得しているので、その場合はタイトルと画像のみが表示されます。

困っていること
アンテナサイトなので定期的にデータベースを更新しなければなりません。
herokuでタスクの定期実行を行う場合、「heroku Scheduler」というサービスを利用することで
実現できます。「heroku Scheduler」はプロセスの 利用時間が750時間/1ヶ月まで無料で利用することができますが、
750時間を超えると課金対象になるので、「heroku Scheduler」を利用するにはクレジットカードの登録が必須となります。
しかし、僕はクレジットカードを持っていないので「heroku Scheduler」を利用することができません。
そのため、手動でデータベースの更新をやってます。
何か良い方法があれば教えてください。

これから
機能の追加・修正と見た目を良い感じにしたいです。

GMOペパボに入社しました

ペパボ新卒6期生として入社したのおぎどーです。 そろそろ入社して1ヶ月がたち落ち着いてきたので入社エントリというものを書いてみます

だれ

沖縄高専の専攻科で情報工学を学んだ22歳の若者です ドローン飛ばしたりしてました

ペパボとは

ペパボは「もっと面白くできる」を企業理念としている本当に面白い会社です。 以下の動画見るとペパボの面白さを何となく理解していただけるかと思います
新卒採用2017 GMOペパボ会社説明会

なにやってるの

入社式を終え、すぐにグループ全体研修に入りました。そこでは、各グループの社長さんのお話やマナー研修、宿泊研修などを受けました。 その後、ペパボの研修に入り各部署のオリエンテーションを受け、現在はポートフォリオ研修で自分のこれまでをふりかえっている最中です

これから

5月は福岡研修でそれが終わると技術研修が始まります。研修はまだまだこれからなので、一人前のエンジニアになれるよう頑張って行きたいなという感じです。 また、研修を受けて技術の知識だけじゃなくデレクションやデザインも学びたくなったので、先輩や同期に助けもらってどんどん学んでいくぞ!!!!11という気持ちですので、各位よろしくお願いします

終わりに

ペパボは研修も充実してて、エンジニアのスーパープレイヤーも多く在籍してます!! 17年卒の採用も始まってるみたいなんで興味ある方は是非!!!
新卒採用2017-GMOペパボ株式会社

visual studioで動くbebop drone用の制御ライブラリを作った

必要になったので、bebop drone用の制御ライブラリ「CV Bebop」を作成しました。

github.com

環境

visual studio 2012
言語:visual c++ 2012
画像処理ライブラリ:OpenCV3.1

使い方

必要なライブラリはすべて入っているので、visual studioのソリューションファイルを開き、 ターゲットをwin64にし、Releaseモードでビルドするだけです。

ライセンス周りがよく分かっていないので、マズイところがあれば連絡していただければ幸いです。

Q学習で迷路を学習

昔、授業でQ学習を習ったの思い出したのでQ学習使って迷路学習させるスクリプトrubyで書いた

github.com

Q学習とは

Q学習は機械学習手法の方策オフ型TD学習の一つである。概念自体は古くから存在するが、Q学習(Q-learning)という名前で今日の手法がまとめられたのは、1989年のクリス・ワトキンズ(Chris Watkins)の論文に端を発する。
Q学習は有限マルコフ決定過程において全ての状態が十分にサンプリングできるようなエピソードを無限回試行した場合、最適な評価値に収束することが理論的に証明されている。実際の問題に対してこの条件を満たすことは困難ではあるが、この証明はQ学習の有効性を示す要素の一つとして挙げられる。
Q学習 - Wikipedia

なんか難しい感じだけど、マルコフ条件の元で状態遷移する場合(ある状態は直前の状態からのみ影響を受ける場合)、無限回試行すると、最適な行動を学習出来るってことらしい。たぶん

Q値の更新

Q学習のきもはQ値の更新で
f:id:ogidow:20151124001819p:plain
でQ値をどんどん更新していく
Q学習で迷路を学習するときのイメージは複数回試行することで報酬(ゴール)がどんどん伝搬していって各状態におけるQ値が決まっていく感じ

実験

こんな感じの迷路を学習させてみた

#####################
#S   0   0    0    0#
#0 -10   0    0    0#
#0   0 -10    0  -10#
#0 -10   0    0    0#
#0   0   0  -10   50#
#####################

Sが初期位置で右下の50がゴールになっている

この迷路を5000ステップ学習して、学習したQ値を使って迷路を解いた
学習時の行動選択は、ある小さな確率εでランダムに選択し、それ以外では Q値の最大の行動を選択するε-グリーディ法を利用した。

学習したQ値を利用して迷路を解いたところ、以下のような結果になった

x: 0 y: 0
   @   0   0   0   0
   0 -10   0   0   0
   0   0 -10   0 -10
   0 -10   0   0   0
   0   0   0 -10  50

x: 1 y: 0
   0   @   0   0   0
   0 -10   0   0   0
   0   0 -10   0 -10
   0 -10   0   0   0
   0   0   0 -10  50

x: 2 y: 0
   0   0   @   0   0
   0 -10   0   0   0
   0   0 -10   0 -10
   0 -10   0   0   0
   0   0   0 -10  50

x: 2 y: 1
   0   0   0   0   0
   0 -10   @   0   0
   0   0 -10   0 -10
   0 -10   0   0   0
   0   0   0 -10  50

x: 3 y: 1
   0   0   0   0   0
   0 -10   0   @   0
   0   0 -10   0 -10
   0 -10   0   0   0
   0   0   0 -10  50

x: 3 y: 2
   0   0   0   0   0
   0 -10   0   0   0
   0   0 -10   @ -10
   0 -10   0   0   0
   0   0   0 -10  50

x: 3 y: 3
   0   0   0   0   0
   0 -10   0   0   0
   0   0 -10   0 -10
   0 -10   0   @   0
   0   0   0 -10  50

x: 4 y: 3
   0   0   0   0   0
   0 -10   0   0   0
   0   0 -10   0 -10
   0 -10   0   0   @
   0   0   0 -10  50

ちゃんと解けてるっぽい

結構楽しかったので、これを気に機械学習とかちゃんと勉強してみたい