ぐぎぎぎぎぎ

使い慣れたものの感覚を捨てて新しいものに慣れようとしているときの僕が発する音。

2017年春からVirtualboxでUbuntuを使っており、2018年1月からはメインPCもUbuntuにした。ずっとUnityデスクトップを使ってきた。2018年春にUbuntu18.04がリリースされ、7月末には16.04からのアップグレード機能が提供された。

16.04は2021年までサポートされるが、僕は新しいものが好きだし、飛び移るときの高低差が小さいうちにどんどん新しいものに移っていくことが時代に取り残されないために大切なことだと思うので18.04にアップグレードした。

OSの機能としては特に変化は感じない。性能やセキュリティが若干向上しているらしい。大きく変化したのはデスクトップ環境だ。UnityからGNOME3に変わった。タイトルバーやらトップバーが無意味に空間を占拠していることに憤りは感じているが、空間の効率的な利用は絶対的な善なのでGNOMEにもやがてLIMが導入されるだろう。

GNOMEには多彩な拡張機能があるが、ちゃんと動かないものや組み合わせると動かないものなどがあり、気持ちが悪い。「拡張機能で自由自在」というのはよくない。ユーザーが好き勝手に拡張機能を作るということは、それらの間で爆発的に増えていく組み合わせのパターンを管理する人間がいないということだ。バニラが一番不愉快なエラーに遭遇しにくいし、だからこそバニラの使い心地こそが重視されるべきだ。

これはChrome拡張でOperaのスピードダイヤルを再現したものだ。見ればわかるが、右端に隙間がある。設定上は「4列」にしてあるにもかかわらずなぜか3列+空き列になる。実はさっきまでこの現象は直っていたのだが、GNOMEのbuggyな拡張を全部消したら戻ってしまった。ままならない。この左右非対称性にはいつまで経っても慣れない。気持ちが悪い。

今日は実験プログラムの最終調整(いつまで最終調整してるんだ)をした。同期が学部生向けの授業で使う実験プログラムをつくるらしいのだが、どうやらいつ誰が作ったかもわからない、ソースコードも残されていないプログラムを作り直す案件らしい。悲しい話だ。メンテナンスする人間がいなくなり、する方法も失われたプログラムの末路は死しかない。

明日は内定者懇親会ということで、内定先の金で銀座のうまい飯が食える。どうせなら映画もなにか見に行きたいところだ。

Mastodonを立てる(Docker + nginx-proxy + letsencrypt-nginx-proxy-companion)2018年8月版

1.nginx-proxy + letsencrypt-nginx-proxy-companion

すでに同じサーバー上で他のアプリを動かしていたので、nginx-proxyを使った。ついでにletsencrypt-nginx-proxy-companionも使い、https化も自動化した。まずこの2つでdocker-compose.ymlを書いておく。

nginx-proxyはデフォルトであるサイズ(1MB?)以上のファイルのアップロードを受け付けない。これを超えるサイズの動画の投稿などを可能にしたいので自前のカスタム設定用のファイルを作り、マウントしている。

dockerネットワークを作る

dockerのコンテナ間の通信はdocker networkで行う。

  • common_linkはmastodonを動かすnginxサーバーとnginx-proxyの通信を行う
  • back-mastodonはmastodonを構成する各コンテナ間での通信を行う
$ docker network create --driver bridge common_link
$ docker network create --driver bridge back-mastodon

なおdocker networkの管理に有用なコマンドを書いておく

# ネットワークの一覧を表示する
$ docker network ls
# ネットワークの詳細を表示する
$ docker network inspect <network名>
# 使用されていないネットワークを削除する
$ docker network prune

動作確認(必要なら)

mastodon以外にすでにdockerで動かしているアプリがある場合、ネットワークの設定を修正する。私はwordpressを動かしていたのでその例を示す。変更点は2つ。

  1. nginx-proxyと通信するコンテナには環境変数としてVIRTUAL_HOST, LETSENCRYPT_HOST, LETSENCRYPT_EMAILを与える。
    • VIRTUAL_HOSTにはサブドメイン名(ここでは違うが)を設定する。のちのちmastodonにはanimedon.chao.tokyoというサブドメイン名を設定するので、chao.tokyoとanimedon.chao.tokyoのどちらにアクセスされたかによって違うコンテナを呼び出せるようになる。なおサブドメイン名はお名前ドットコムで設定した。
    • LETSENCRYPT_HOSTとLETSENCRYPT_EMAILはletsencrypt-nginx-proxy-companionのための環境変数。前者にはVIRTUAL_HOSTと同じ値を、後者にはletsencryptの通知メールを受け取るメールアドレスを設定する。
  2. 先ほど設定したネットワークを使用する
    • トップレベルにnetworksを作り、先ほど作ったcommon_linkというネットワークを利用することを明示する
    • 各コンテナでcommon_linkを利用することを明示する
version: "2"
services:
  wordpress:
    image: wordpress:latest
    container_name: "wp-main"
    volumes:
      - .:/var/www/html
      - ./log:/tmp/log
    depends_on:
      - db
    environment:
      WORDPRESS_DB_HOST: "db:3306"
      VIRTUAL_HOST: chao.tokyo
      LETSENCRYPT_HOST: chao.tokyo
      LETSENCRYPT_EMAIL: 見せられないよ
    env_file: .env
    networks:
      - common_link

  db:
    image: mysql:5.7
    container_name: "wp-db"
    volumes:
      - "./db-data:/var/lib/mysql"
    env_file: .env
    networks:
      - common_link
networks:
  common_link:
    external: true

nginx-proxyのdocker-composeとアプリのdocker-composeを任意の順序で起動すると、アプリがアクセス可能になるはずだ。この段階でアプリ(例:chao.tokyo)にアクセスできない場合はどこかでエラーが出ているので頑張ってなんとかする。letsencrypt-nginx-proxy-companionは起動に時間がかかるし、初回起動時は特に長い。証明書の取得、あるいはその必要がないことの確認が済むと3600秒のスリープに入るというようなメッセージが出るので、それまではエラーが出ても焦らないで。

2.Mastodonの設定

ではMastodonをデプロイしていく。まず適当な作業ディレクトリにcloneする。

git clone https://github.com/tootsuite/mastodon.git

docker-compose.ymlの編集

公式のインストラクションによると

If you're not making any local code changes or customizations on your instance, you can use a prebuilt Docker image to avoid the time and resource consumption of a build

もしローカルでコードを変更しないのであれば、ビルド済みのDockerイメージを利用することで時間と資源を節約することができます。

とのことなので、そうすることにした。この場合docker-compose.ymlに若干の変更が必要になる。他にもいろいろな変更が必要になるがとりあえず載せる。

version: '2'
services:
  nginx:
    image: nginx:1.11.10-alpine
    container_name: mstdn-nginx
    expose:
      - "9090"
    restart: always
    tty: false
    env_file: .env.production
    links:
      - web
      - streaming
    volumes:
      - ./setting/nginx/conf.d:/etc/nginx/conf.d:ro
      - ./setting/nginx/conf:/etc/nginx/conf/:ro
    volumes_from:
      - container:nginx-proxy_nginx-proxy_1
    networks:
      - common_link
      - back-mastodon
  db:
    restart: always
    image: postgres:9.6-alpine
    networks:
      - back-mastodon
### Uncomment to enable DB persistance
    volumes:
      - ./postgres:/var/lib/postgresql/data

  redis:
    restart: always
    image: redis:4.0-alpine
    networks:
      - back-mastodon
### Uncomment to enable REDIS persistance
    volumes:
      - ./redis:/data

#  es:
#    restart: always
#    image: docker.elastic.co/elasticsearch/elasticsearch-oss:6.1.3
#    environment:
#      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
#    networks:
#      - back-mastodon
#### Uncomment to enable ES persistance
##    volumes:
##      - ./elasticsearch:/usr/share/elasticsearch/data

  web:
#    build: .
    image: tootsuite/mastodon:v2.4.3
    restart: always
    env_file: .env.production
    command: bash -c "rm -f /mastodon/tmp/pids/server.pid; bundle exec rails s -p 3000 -b '0.0.0.0'"
    networks:
      - back-mastodon
    ports:
      - "127.0.0.1:3000:3000"
    depends_on:
      - db
      - redis
#      - es
    volumes:
      - ./public/system:/mastodon/public/system
      - ./public/assets:/mastodon/public/assets
      - ./public/packs:/mastodon/public/packs

  streaming:
#    build: .
    image: tootsuite/mastodon:v2.4.3
    restart: always
    env_file: .env.production
    command: yarn start
    networks:
      - back-mastodon
    ports:
      - "127.0.0.1:4000:4000"
    depends_on:
      - db
      - redis

  sidekiq:
#    build: .
    image: tootsuite/mastodon:v2.4.3
    restart: always
    env_file: .env.production
    command: bundle exec sidekiq -q default -q mailers -q pull -q push
    depends_on:
      - db
      - redis
    networks:
      - back-mastodon
    volumes:
      - ./public/system:/mastodon/public/system
      - ./public/packs:/mastodon/public/packs
## Uncomment to enable federation with tor instances along with adding the following ENV variables
## http_proxy=http://privoxy:8118
## ALLOW_ACCESS_TO_HIDDEN_SERVICE=true
#  tor:
#    build: https://github.com/usbsnowcrash/docker-tor.git
#    networks:
#      - external_network
#      - back-mastodon
#
#  privoxy:
#    build: https://github.com/usbsnowcrash/docker-privoxy.git
#    command: /opt/sbin/privoxy --no-daemon --user privoxy.privoxy /opt/config
#    volumes:
#      - ./priv-config:/opt/config
#    networks:
#      - external_network
#      - back-mastodon

networks:
  common_link:
    external: true
  back-mastodon:
    external: true

変更点を1つずつ説明する。

nginxコンテナの追加

mastodon専用のサーバーのコンテナ。nginx-proxyと各コンテナを中継する。volumesでコンテナの外から設定ファイルを編集できるようにしている。volumes_fromに関する解説はここを参照のこと。networksでcommon_linkと先ほど使用したmastodonの内部用ネットワークの両方に接続する。

なおvolumes_fromはdocker-compose version 3では使えない。解決策を調べたがよくわからなかったのでversionを2にした。

dbコンテナ, redisコンテナ

データベースの永続化のためにvolumesをコメントアウトした。先ほど使用したmastodon内部用ネットワークを利用するためにネットワーク名を変えた。

webコンテナ

ローカルで変更を加えないことにしたのでbuildをコメントアウト。imageでバージョンを指定。サーバー外部との通信はnginxコンテナが一括して担うのでnetworksはback-mastodonのみでよい。

volumesコンテナにアセットが保存されるディレクトリを追加。ここはエラーメッセージを頼りに手探りでやったことなのでよく理解できていないのだが、ビルドをしない場合はこうしないと動かないっぽい(参考)?。

streamingコンテナ

buildをコメントアウト。networksをback-mastodonに。

sidekiqコンテナ

これも手探りでやったのでよくわからないが、volumesに/public/packsを追加した。もしかしたら要らないかも。

networks

先ほど作ったcommon_linkとback-mastodonを利用することを明示する。

mastodon用nginxの設定ファイルの編集

mastodon/settings/nginx/conf.d/default.confを編集する。参考をコピペしてドメイン名等を埋めていけばいいが、add_header Content-Security-Policyの行はそのままだと画像アップロードができないので、意味がわかる人なら画像アップロードを許可するようにここを編集する。僕はわからなかったので丸ごと消した。

.env.productionの編集

まずcp .env.production.sample .env.productionし、このファイルを編集していく。

# 冒頭に追加
VIRTUAL_HOST=animedon.chao.tokyo
VIRTUAL_PORT=9090
VIRTUAL_PROTO=https
LETSENCRYPT_HOST=animedon.chao.tokyo
LETSENCRYPT_EMAIL=見せられないよ
LETSENCRYPT_TEST=false

# 探して編集
LOCAL_DOMAIN=animedon.chao.tokyo

# それぞれdocker-compose run --rm web rake secretを実行し出力された文字列を入れる
SECRET_KEY_BASE=
OTP_SECRET=

# 探して編集
SMTP_SERVER=smtp.gmail.com
SMTP_PORT=587
SMTP_LOGIN=見せられないよ
SMTP_PASSWORD=見せられないよ
SMTP_FROM_ADDRESS=見せられないよ
SMTP_DOMAIN=gmail.com
SMTP_OPENSSL_VERIFY_MODE=none

冒頭はnginx-proxyとmastodon用nginxが通信するための環境変数。

メールはgmailを利用するのでこうなった。なおgmail側で事前に設定してmastodon用のアプリパスワードを発行するのが望ましい。

起動

docker-compose build
chown -R 991:991 public
docker-compose run --rm web bundle exec rake mastodon:setup

chownは以外なタイミングでトラブった記憶があるので(忘れた)、それっぽいエラーが出たら思い出したかのようにもう一度実行しよう。

最後のコマンドで対話型のセットアップが始まる。内容はここにある。

  1. ドメイン名→animedon.chao.tokyo
  2. シングルユーザー?→No
  3. Docker?→Yes
  4. DB設定→Enter連打
  5. Redis設定→Enter連打
  6. クラウドストレージ→No
  7. メール設定→NoとEnter連打。さっき設定したのでたぶん上書きはされてない。
  8. DBマイグレーション→永続化してあるので既にやってあるならスキップしないとエラーになる
  9. アセットのプリコンパイル→同上。ただしこれはやり直してもよい。とても時間がかかる。
  10. 管理者アカウント作成→しましょう
docker-compose up -d

起動します。

終わりに

参考にしたサイトはどれも素晴らしかったが、mastodonの進化が非常に早いのでそのままでは動かないところがいくつもあった。基本的な構築の流れは参考サイトを見てもらったほうがよくて、私のこの記事はどこにどういうエラーが起こりうるのか、それをどう考えて対処したのかというような記録として残しておきたいと思う。

参考

学会2日目

ポスターセッションでは面白い研究が多く、やっている人たちも楽しんでいるのが伝わってきた。研究は楽しい!研究は楽しい!楽しい!楽しい!

Mastodonは立った→animedon.chao.tokyo

僕もあなたも逮捕されない範囲内で好きに使ってください。

立てたけどそんなに使わなそう。2018年8月20日現在のMastodonの立て方にはとても詳しくなったので、この情報の価値が高いうちにまとめておきたい。立ったあともCSPとか画像・動画のサイズ上限とかメールとか適切に設定しないと上手く動かないのでなかなか難しいぞ。立てる順番が違うと壊れるというDockerにあるまじき事件まで起きたからな。

次はフロントエンドの改造に着手したい。自動ハッシュタグ挿入機能と公開範囲設定保持機能。

学会初日

※この記事は『氷結 アルフォンソマンゴー』を飲みながら書かれた。

今日は学会初日だった。話を聞いて写真を撮った。明日はポスター。昼食をどうしようか。会場の大学は綺麗だ。アニメの聖地の近くだったので見てきた。

自宅PCのUbuntuを18.04にアップデートしたらペンタブレットのマッピングが壊れてしまった。
xinput set-prop "デバイス名" --type=float "Coordinate Transformation Matrix" 1 0 0 0 1 0 0 0 1
これが通らない。
X Error of failed request: BadMatch (invalid parameter attributes)
Major opcode of failed request: 131 (XInputExtension)
Minor opcode of failed request: 57 ()
Serial number of failed request: 19
Current serial number in output stream: 20

だそうだ。

エラーメッセージでググってもデバイス特定の解決法が記述されているばかりで参考にならない。xinput listxinput list-props "デバイス名"でちゃんとデバイスが認識されていること、座標変換のオプションが存在することは確認済み。

Mastodon立ったり立たなかったり

nginx_proxy + letsencrypt-nginx-proxy-companion + dockerの構成。

どこの情報を見てもそのまま動くものはなかったので苦労している。かき集めてきた情報でとりあえず動くところまで言ったので備忘録を兼ねて設定を晒す。

全体的に情報が古い。検索に引っかかる情報は2017年前半のMastodon黎明期のものが多いが、OSSであるMastodonの進化のスピードは非常に速く数カ月前の情報でも役に立たないことがある。

比較的新しくて参考になった記事:Ubuntu16.04にDockerでMastodonインスタンスを立てる


残る問題点

Mastodonを立てるぞ1

ツイッターもUserStreamの廃止でとうとう終わりだろうと思ったので。

まずサーバー上でこのホームページ(wordpress)が稼働しているのでどうしたものかと調べ、nginx_proxyを採用することにした。こいつはアクセスされたサブドメインに応じて違うコンテナにリクエストを振り分けてくれる。なかなか難航したが導入した。ついでにSSL証明書の取得まで自動化された。

次はMastodonのデプロイだ。docker-compose.ymlを編集してサーバーまで同時に起動するようにし、さらにそれがnginx_proxyの管理下になるようにnetworksの設定をイジイジする。絶対うまくいってない気がするが現在アセットのコンパイル中なので結果はまだわからない。

俺を起こさないでくれ。死ぬほど疲れてる。

over the touge

※この記事は『福島産 あかつき桃直搾り』を飲んで書かれた。

昨夜から今朝にかけて徹夜したので今日は絶対大学に行くまいと思っていたが、いろいろあって行った。今取り組んでる作業はあとちょっと直すだけ。

先週の土日は大学に来ていたので今週はゆっくり休みたい。そういえば台風が来るらしい。休日に家にいるぶんには、天気は荒れてくれたほうがなんとなくワクワクする。

Hyperappでストップウォッチを作りたかったのでググったらこれがヒットしたんだが、app関数にeventsなる引数を渡している。こんなのあったかなと思ったらこのページの公開版では変わっていて

const main = app(state, actions, view, document.body)
setInterval(main.tick, 1000)

となっている。appの戻り値を利用するのはappのactionsを外部から呼び出す正しい方法だ。公式サイトにも書かれている

よく知らないが、昔はHyperappにそういう仕様があったのだろうか。

ニコニコするためにニコニコしてるのでニコニコできないアレはアレしようというアレを作った

niconico-nonpolitical

正味30分くらいで作った。目的と機能は日記タイトルの通り。インターネットにおいて見たくないものを見ないことは重要だ。これが上手くできないと人類は絶滅する。HTMLCollectionを配列に変換して使う(ES2015+)これやろうと思ったんだけどunexpected tokenとか言われてできなかった。なんでだろう。代わりに集合を配列に変換する方法をやった。jQuery使わなかったのはなんとなく、意地で。

今日は3人分実験をした。データは必ずしも予想通りではないが、概ね意図した通りの実験操作は行えているようだ。アドバイスをもらって改善点もはっきりした。調子は悪くない。

未来のミライをもう一度見に行きたい。あと野菜を摂取したい。

実験プログラム

いい加減研究しないとまずい(してないわけではない)ので最近は実験プログラムをゴリゴリ書いている。pygameをベースに、特殊な刺激を呈示するときはpsychopyを使ったり、マイクを拾うためにpyaudioを使ったりしている。コンピュータは便利だ。たくさんの実験参加者に全く同じ刺激を呈示することも、参加者の行動をミリ秒単位で記録することもコンピュータなしでは不可能だっただろう。

よく考えると、人間に何かを見せてそれに応じて何かを入力させるのはゲームと同じだ。だからゲームプログラミングのライブラリを使うのは理にかなっている。Pythonは遅いので一般論としてゲームプログラミングには向かないが、僕の研究では3DCGのレンダリングをするわけではないし、タイミングを記録することを考えても100fps出れば十分なのでPythonで事足りる。

マイクやらスピーカーやら圧力センサやらのデバイスを使うとなると低レイヤーで問題が発生することが多い。windows上でその手の問題を地道に解決していくのは正直かなりしんどい。

うん。しんどい。

ドラマティック・ストリート

毎週土曜は洗濯。しかし今週はなかなかドラマだった。

まず、暑い。風も強かったのでそれほど辛くはなかったが、やはり日光が当たる場所を避けたくなるような陽気だ。しかし通りを歩いているとふいに冷気を感じる場所があった。周囲を見渡しても、店舗の冷房の聞いた空気が流れ出してるふうでもない。よく見ると足元に金網があった。非常に細かい金網で覗き込んでも暗くて何も見えないが、僕はその奥に何があるかを知っている。そう、地下鉄だ。

通りに沿って地下鉄が走っており、その金網はおそらく通気口なのだろう。金網の上にいると冷たい空気が立ち上ってきてとても気持ちいい。30秒くらいずっとそこにいた。それにしても、自分の足元が地下の巨大空間につながっているというのはなかなかロマンがある。

もうひとつのドラマは悲しいドラマだ。コインランドリーは洗濯機も乾燥機も100円玉しか受け付けないのだが、乾燥のときに500円玉しかなかったので洗剤の自動販売機で両替をした。しかし僕は何を思ったか、その100円玉を洗濯機に入れてしまったのだ。もう洗濯は終わったのに。入れた瞬間に気づいて返却ボタンを探したが、ない。仕方がないのでその100円は諦めた。次に使う誰かが100円安く使える、俺はそういうことに幸せを感じるんだ。

ツイッターの誤字もそうだが、やってしまってから急激にエラー探知性能が向上するのは不思議なことだ。