株式会社はてなに入社しすぎ…
Ruby製のウェブサーバライブラリWebrickのソースコードを読む
そういや一年前、「ウェブサーバーのこと知りたい -> Rack読もう。」となって挫折した。少しずつ暖かくなって意識が高まってきたし、今やっている仕事がずいぶんと(すくなくともRailsアプリ書くのと比較すると)低レイヤーなところなので、良い感じの相乗効果を狙って今のうちにサーバーについて理解を深めておきたい。そういうわけで、今春はWebrick読もう。
読みかた
今度は挫折したくない。以下の手法に従って読む。
また、Cのソースにも触れることになると思うので以下も参考にする。
使うもの
動的解析
基本的に解析は動的解析から始めるのがよい。 静的解析とは、多かれ少なかれ、プログラムの動作を予想することである。 対して動的解析で見るのは事実である。 まず事実を見ておいたほうが方向付けがしやすいし、間違いも減る。 最適化する前にプロファイルを取れ、というのと似ているだろうか。 事件解決はまず現場から、というのでもよい。
とのこと。まずは動かす。
サーバー起動
ruby -rwebrick -e 'WEBrick::HTTPServer.new(:DocumentRoot => "./", :Port => 8000).start'
なお、これは以下と同等(r オプション使うの初めてだ)。
ruby -e 'require "webrick";WEBrick::HTTPServer.new(:DocumentRoot => "./", :Port => 8000).start '
[2016-03-26 14:03:45] INFO WEBrick 1.3.1 [2016-03-26 14:03:45] INFO ruby 2.2.3 (2015-08-18) [x86_64-darwin14] [2016-03-26 14:03:45] INFO WEBrick::HTTPServer#start: pid=4563 port=8000
リクエストを投げる
クライアントとして、別のシェルを開いて以下を実行する。
curl localhost:8000
(クライアント側)
$ curl localhost:8000 <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 3.2 Final//EN"> <HTML> <HEAD> <TITLE>Index of /</TITLE> <style type="text/css"> ...(以下略)
(サーバー側)
localhost - - [26/Mar/2016:14:04:04 JST] "GET / HTTP/1.1" 200 4076 - -
クライアントからHTTPリクエストを投げたらちゃんとハイパーテキストを返してくれたので、ウェブサーバーとして機能したと言える。サーバー側のログには時刻やHTTPメソッド・プロトコルのバージョン・ステータスなどが出されている。
静的解析
前準備
さすがにGithubのウェブサイト上でファイルを一つ一つブラウジングして理解できる気がしないので、「ソースコード完全解説ガイド」に従っていくつかの前準備を行う。
ドキュメントを読む
今回は http://docs.ruby-lang.org の説明を参照する。
汎用HTTPサーバーフレームワークです。HTTPサーバが簡単に作れます。
WEBrick はサーブレットによって機能します。サーブレットとは サーバの機能をオブジェクト化したものです。 ファイルを読み込んで返す・forkしてスクリプトを実行する・テンプレートを適用する など、「サーバが行なっている様々なこと」を抽象化しオブジェクトにしたものが サーブレットです。サーブレットは WEBrick::HTTPServlet::AbstractServlet の サブクラスのインスタンスとして実装されます。
WEBrick はセッション管理の機能を提供しません。
ソースコード入手
Webrick はRuby の標準ライブラリなので、Githubの ruby リポジトリから入手する。
git clone git@github.com:ruby/ruby.git
tags ファイルつくる
webrickはlib/下にある。そこでctagsコマンドを実行する。
cd ruby/lib/webrick ctags -R
参考:ctagsと連携するように環境を構築する - Qiita
ファイル構成を見る
MacBook-Pro:webrick gaaamii$ tree . . ├── accesslog.rb ├── cgi.rb ├── compat.rb ├── config.rb ├── cookie.rb ├── htmlutils.rb ├── httpauth │ ├── authenticator.rb │ ├── basicauth.rb │ ├── digestauth.rb │ ├── htdigest.rb │ ├── htgroup.rb │ ├── htpasswd.rb │ └── userdb.rb ├── httpauth.rb ├── httpproxy.rb ├── httprequest.rb ├── httpresponse.rb ├── https.rb ├── httpserver.rb ├── httpservlet │ ├── abstract.rb │ ├── cgi_runner.rb │ ├── cgihandler.rb │ ├── erbhandler.rb │ ├── filehandler.rb │ └── prochandler.rb ├── httpservlet.rb ├── httpstatus.rb ├── httputils.rb ├── httpversion.rb ├── log.rb ├── server.rb ├── ssl.rb ├── tags ├── utils.rb └── version.rb
読むの開始
先ほどのワンライナーをふたたび見る。
WEBrick::HTTPServer.new(:DocumentRoot => "./", :Port => 8000).start
まずは以下からざっくりと追う。
- HTTPServer.new
- HTTPServer#start
HTTPServer.new
インスタンス初期化時に何をしているのか。mount
というメソッドでパスにサーブレットを割り当てているようだ。あとは @virtual_hosts
という配列を初期化している。
HTTPServer#start
HTTPServerのインスタンスメソッドstart
見ようとしても、ない。継承元のGenericServer
のものだとわかる。
GenericServer#start
さて、このstartメソッドは何をしてるのか。コメントがあるので、それを見る。
137 ## 138 # Starts the server and runs the +block+ for each connection. This method 139 # does not return until the server is stopped from a signal handler or 140 # another thread using #stop or #shutdown. 141 # 142 # If the block raises a subclass of StandardError the exception is logged 143 # and ignored. If an IOError or Errno::EBADF exception is raised the 144 # exception is ignored. If an Exception subclass is raised the exception 145 # is logged and re-raised which stops the server. 146 # 147 # To completely shut down a server call #shutdown from ensure: 148 # 149 # server = WEBrick::GenericServer.new 150 # # or WEBrick::HTTPServer.new 151 # 152 # begin 153 # server.start 154 # ensure 155 # server.shutdown 156 # end
意訳する。
「サーバーを起動してコネクション毎にブロックを実行する。このメソッドはシグナルハンドラあるいは他のスレッドの#stop
か#shutdown
によってサーバーが停止するまでreturnしない。(以降、例外捕捉の説明)」
スレッド <--(コネクション)--> クライアント スレッド <--(コネクション)--> クライアント スレッド <--(コネクション)--> クライアント
という感じで、スレッドとコネクションとクライアントが1対1対1の関係になるのがこのstartメソッドを見るとわかる。
この処理はbegin節で囲まれてた中で無限ループしていて、先のコメントにあったようにシグナルハンドラなんかによって停止されたときにこの節を抜ける。するとensure節が実行されて、サーバーが停止する。
というわけで、実際のコードの中身について、大事そうなものをかいつまんで見てみていく。
- server_type.start
server_type.start
server_type にはデフォルトではWEBrick::SimpleServerとなるので、このstartメソッドをみる。
(server.rb) 27 class SimpleServer 28 29 ## 30 # A SimpleServer only yields when you start it 31 32 def SimpleServer.start 33 yield 34 end 35 end
yield
の一行しかない。渡したブロックそのまま実行するということがわかる。
setup_shutdown_pipe
よくわからない。パイプってなんだ(あとでみる)
svrs = IO.select([sp, *@listeners], nil, nil, 2.0)
IO.selectが何をしているのか。Rubyの組み込みライブラリなので、まずドキュメントにあたった方がよさそうだ。
http://docs.ruby-lang.org/ja/2.2.0/class/IO.html
IOクラスとは、
基本的な入出力機能のためのクラスです。
とのこと。では、このselectというメソッドはなにか。
http://docs.ruby-lang.org/ja/2.2.0/class/IO.html#S_SELECT
与えられた入力/出力/例外待ちの IO オブジェクトの中から準備ができたものを それぞれ配列にして、配列の配列として返します。 タイムアウトした時には nil を返します。
ソースも見てみる。IOクラスはwebrickの中には見つからないので、今回は pry-doc というgemを使ってpry(対話環境)から場所を見つけることにする。
[1] pry(main)> show-source IO.select From: io.c (C Method): Owner: #<Class:IO> Visibility: public Number of lines: 22 static VALUE rb_f_select(int argc, VALUE *argv, VALUE obj)
Cのソースで、rb_f_select
という関数だということがわかった。
start_thread
ThreadGroup#add
ThreadGroup の定義元に飛びたいけど、これは組み込みライブラリ、つまりCのソースになるので、webrickの中にはいない。ということで、今回は pry-doc というgemを使ってpry(対話環境)上から場所を見つけることにする。
pry> show-source ThreadGroup#add
とすると、このメソッドの定義元がわかる。どうやらthread.c にある thgroup_add
という関数らしい。
IO.select([sp, *@listeners], nil, nil, 2.0)
書き途中です。
Webサーバについてのメモ
一から調べだした。
雑理解
まず、調べる前に自分の雑理解を書き出す。
- WebサーバはクライアントからHTTPリクエストをもらってHTTPレスポンスを返す(HTTPサーバだ)。
- データのやり取りの際には recv とか write みたいなUnix のシステムコールで送受信を実現することになる。
- たくさんのクライアントから同時にリクエスト来ても処理できるようにスレッドやプロセスを分けるやり方もあるけど他の方法もある(らしい)。
- TCP 接続に必要な情報はIPアドレスとポート(だけ?ほんとに?)。
OSSを読む
- GitHub - apache/httpd: Mirror of Apache HTTP Server. Issues: http://issues.apache.org
- https://github.com/python-git/python/blob/master/Lib/SimpleHTTPServer.py
- https://github.com/ruby/ruby/tree/trunk/lib/webrick
参考
コンピュータへの畏敬みたいな感情
@moutend さんがこんなエントリを書いてバズっていた。
http://qiita.com/moutend/items/2696139d0b96805ea415qiita.com
何がすごいってもちろん @moutend さんがすごいだけの話でもあるんだけど、やっぱりこういうの読むとコンピュータが人間の能力拡張してるよすごいなー、と感動する。そういえば以前「ハクティビズムとは何か」とか「2045年問題」とか、あとは小飼弾さんの「コードなエッセイ」とかでそういう話を読んで、ろくにプログラミングもできないくせにコンピュータすごいと確信したのを思い出した。仕事としてコンピュータを触っていてうまくいかないことが多いと忘れがちだけど、身体能力を拡張して何かできるという全能感みたいなものを少しでも感じられるようにコンピュータを使っていきたい。そのためにはコンピュータへの畏敬みたいな感情を時々思い出していけたらいいと思う。あともう一度言うけど、@moutend さんはすごい。
春が恋しい
最低気温二桁でようやくまともに活動できる
メモ
理想: 向上心を持った人たちと社会的価値の高い製品を作っていきたい
もっと正直なところ:
- エンジニアとして真っ当だと思える文化で働きたい(開発手法、道具、コードの可読性なんかに無頓着だったりするとリリース前に一気に辛くなることを現職で現在進行形で知りつつある)
- 「これを作ってます」というのを胸を張って言いたい
- とにかく力つけたい
早くやるの大事
後回しにする癖をそろそろ潰さないと生きるの辛くなりそう。
クックパッドのウェブサイト日本版とUS版
クラウドワークスユーザーとしてのちょっと良い思い出
クラウドワークスがたたかれてるみたいだけど、個人的にはユーザーとしていい思い出がある。
何にもない学生のうちに、出来はともかくとしてコードを書いてお金をもらう経験をさせてもらえたことや、お仕事をくださった方から思いがけず以下のようなアドバイスを頂けたことは、とても貴重なことだったなと思う。
「とにかく現状はどうでもよくて、どうしたいかどうなりたいかだけだと思います。 何にでもなれます。」
ほかにも、ゴーストライティングをした記事がややバズって自信になったり、自分の力では何の役にも立てずプロジェクトが途中で終わってしまったり、ああいうことを経験できたのはよかった。
というのを2年前くらいのメールを読みながら考えていた。まとまりのない日記ですみません。
英文指摘してくれ問題
せっかく英語で書く用のTumblブログrあるので短く書けそうことは英語でも書いていきたい。
自分自身、知り合いが英語で何か書いてたりして変な書き方してるところがあっても揚げ足を取るみたいで嫌だなと思って見過ごす事がある。のでそういう気持ちもよくわかるんだけど、自分の場合はこれっぽっちも(少なくとも英語に関しては)プライドなんてないので雑にガンガン間違った文法指摘してほしい。
最強のライフハック
疲れたら寝るといい