IO、並び替え

IO and sorting

この章のすべてのコードはここにあります

前の章 新しいエンドポイント /leagueを追加することで、アプリケーションを繰り返し続けました。途中で、JSONの処理方法、埋め込みタイプ、ルーティングについて学習しました。

私たちの製品の所有者は、サーバーが再起動されたときにソフトウェアがスコアを失うことにいくらか混乱しています。これは、ストアの実装がインメモリであるためです。彼女はまた、「/league」エンドポイントが勝ちの数で順序付けられたプレーヤーを返す必要があると解釈しなかったことに不満を持っています!

これまでのコード

// server.go
package main

import (
	"encoding/json"
	"fmt"
	"net/http"
	"strings"
)

// PlayerStore stores score information about players
type PlayerStore interface {
    GetPlayerScore(name string) int
    RecordWin(name string)
    GetLeague() []Player
}

// Player stores a name with a number of wins
type Player struct {
    Name string
    Wins int
}

// PlayerServer is a HTTP interface for player information
type PlayerServer struct {
    store PlayerStore
    http.Handler
}

const jsonContentType = "application/json"

// NewPlayerServer creates a PlayerServer with routing configured
func NewPlayerServer(store PlayerStore) *PlayerServer {
    p := new(PlayerServer)

    p.store = store

    router := http.NewServeMux()
    router.Handle("/league", http.HandlerFunc(p.leagueHandler))
    router.Handle("/players/", http.HandlerFunc(p.playersHandler))

    p.Handler = router

    return p
}

func (p *PlayerServer) leagueHandler(w http.ResponseWriter, r *http.Request) {
    w.Header().Set("content-type", jsonContentType)
    json.NewEncoder(w).Encode(p.store.GetLeague())
}

func (p *PlayerServer) playersHandler(w http.ResponseWriter, r *http.Request) {
	player := strings.TrimPrefix(r.URL.Path, "/players/")

	switch r.Method {
	case http.MethodPost:
		p.processWin(w, player)
	case http.MethodGet:
		p.showScore(w, player)
	}
}

func (p *PlayerServer) showScore(w http.ResponseWriter, player string) {
    score := p.store.GetPlayerScore(player)

    if score == 0 {
        w.WriteHeader(http.StatusNotFound)
    }

    fmt.Fprint(w, score)
}

func (p *PlayerServer) processWin(w http.ResponseWriter, player string) {
    p.store.RecordWin(player)
    w.WriteHeader(http.StatusAccepted)
}

章の上部にあるリンクで対応するテストを見つけることができます。

データを保存する

これを使用できるデータベースは数十ありますが、ここでは非常にシンプルなアプローチを採用します。このアプリケーションのデータをJSONとしてファイルに保存します。

これにより、データの移植性が非常に高くなり、実装が比較的簡単になります。

特にうまくスケーリングしませんが、これはプロトタイプなので、今のところは問題ありません。私たちの状況が変化し、それが適切でなくなった場合、私たちが使用したPlayerStore抽象化のため、それを別のものと交換するのは簡単です。

新しいストアを開発するときに統合テストに合格し続けるために、今のところInMemoryPlayerStoreを保持します。新しい実装が統合テストに合格するのに十分であると確信したら、それを入れ替えてから、InMemoryPlayerStoreを削除します。

最初にテストを書く

これで、データの読み取り(io.Reader)、データの書き込み(io.Writer)、および標準ライブラリを使用してこれらの関数をテストすることなく標準ライブラリをテストする方法について、標準ライブラリに関連するインターフェースに精通しているはずです。実際のファイルを使用する必要があります。

この作業を完了するには、 PlayerStoreを実装する必要があるため、実装する必要のあるメソッドを呼び出すストアのテストを記述します。GetLeagueから始めます。

私たちはReaderを返すstrings.NewReaderを使用しています。 これは、FileSystemPlayerStoreがデータを読み取るために使用するものです。mainでは、Readerでもあるファイルを開きます。

テストを実行してみます

テストを実行するための最小限のコードを記述し、失敗したテスト出力を確認します

新しいファイルでFileSystemPlayerStoreを定義しましょう

再試行

Readerを渡していますが、予期しておらず、まだGetLeagueが定義されていないため、問題があります。

もう一回試してみる...

成功させるのに十分なコードを書く

以前にリーダーからJSONを読み取りました

テストは成功するはずです。

Refactor

これは以前に行ったことです! サーバーのテストコードは、応答からJSONをデコードする必要がありました。

この関数をDRYにしてみましょう。

league.goと呼ばれる新しいファイルを作成し、これを中に入れます。

これを実装と、server_test.goのテストヘルパーgetLeagueFromResponseで呼び出します

構文解析エラーに対処するための戦略はまだありませんが、続けましょう。

問題を探す

私たちの実装に欠陥があります。まず、io.Readerの定義を思い出してみましょう。

私たちのファイルを使用すると、最後までバイト単位で読み取ることを想像できます。 もう一度「読み取りRead」しようとするとどうなりますか?

現在のテストの最後に以下を追加します。

これは成功させたいのですが、テストを実行すると成功しません。

問題は、Readerが最後に到達したため、これ以上読むものがないことです。最初に戻るように指示する方法が必要です。

ReadSeekerは、標準ライブラリにあるもう1つのインターフェースで、役立ちます。

埋め込みを覚えていますか?これは、Readerと[Seeker](https://golang.org/pkg/io/#Seeker)で構成されるインターフェースです。

これはいいですね、代わりにこのインターフェイスを取るようにFileSystemPlayerStoreを変更できますか?

テストを実行してみてください。テストは成功しました! テストで使用したstring.NewReaderは、ReadSeekerも実装しているため、他の変更を行う必要はありませんでした。

次に、GetPlayerScoreを実装します。

最初にテストを書く

テストを実行してみます

テストを実行するための最小限のコードを記述し、失敗したテスト出力を確認します

テストをコンパイルするには、メソッドを新しい型に追加する必要があります。

これでコンパイルされ、テストは失敗します

成功させるのに十分なコードを書く

リーグを繰り返してプレーヤーを見つけ、スコアを返すことができます。

リファクタリング♪

何十ものテストヘルパーリファクタリングを確認したので、これを機能させるためにこれをあなたにお任せします。

最後に、RecordWinでスコアの記録を開始する必要があります。

最初にテストを書く

私たちのアプローチは、書き込みに対してかなり近視眼的です。ファイル内のJSONの「行」を1つだけ更新することは簡単にはできません。すべての書き込みで、データベースの whole 新しい表現を保存する必要があります。

どうやって書くの?通常はWriterを使用しますが、すでにReadSeekerがあります。潜在的に2つの依存関係が存在する可能性がありますが、標準ライブラリにはすでにReadWriteSeeker用のインターフェースがあり、ファイルで必要なすべてのことを実行できます。

タイプを更新しましょう

コンパイルされるかどうかを確認します

strings.Reader ReadWriteSeekerを実装しないことはそれほど驚くべきことではないので、何をしますか?

2つの選択肢があります

  • テストごとに一時ファイルを作成します。*os.FileReadWriteSeekerを実装します。これの長所は、それが統合テストになり、実際にファイルシステムからの読み取りと書き込みを行っているため、非常に高い信頼性が得られることです。短所は、ユニットテストの方が速く、一般にシンプルであるためです。また、一時ファイルを作成し、テスト後にそれらが確実に削除されるように、さらに作業を行う必要があります。

  • サードパーティのライブラリを使用できます。Mattettiは、必要なインターフェイスを実装し、ファイルシステムに触れないライブラリfilebufferを作成しました。

ここでは特に間違った答えはないと思いますが、サードパーティのライブラリを使用することを選択することで、依存関係の管理について説明する必要があります。そのため、代わりにファイルを使用します。

テストを追加する前に、strings.Readeros.Fileで置き換えることにより、他のテストをコンパイルする必要があります。

内部にいくつかのデータを含む一時ファイルを作成するヘルパー関数を作成しましょう

TempFileは、使用する一時ファイルを作成します。渡した "db"値は、作成するランダムなファイル名に付けられるプレフィックスです。これは、誤って他のファイルと衝突しないようにするためです。

ReadWriteSeeker(ファイル)だけでなく、関数も返すことに気づくでしょう。 テストが終了したら、ファイルを確実に削除する必要があります。エラーが発生しやすく、読者の興味をそそる可能性があるため、ファイルの詳細をテストに漏らしたくない。removeFile関数を返すことで、ヘルパーの詳細を処理でき、呼び出し側が実行する必要があるのはdefer cleanDatabase()を実行することだけです。

テストを実行すると、テストに成功するはずです。かなりの量の変更がありましたが、インターフェースの定義が完了したように感じられ、これから新しいテストを簡単に追加できるはずです。

既存のプレイヤーの勝利を記録する最初の反復を取得しましょう

テストを実行してみます

./file_system_store_test.go:67:8: store.RecordWin undefined (type FileSystemPlayerStore has no field or method RecordWin)

テストを実行するための最小限のコードを記述し、失敗したテスト出力を確認します

新しいメソッドを追加する

私たちの実装は空なので、古いスコアが返されます。

成功させるのに十分なコードを書く

なぜ私が「player.Wins++」ではなく「league[i].Wins++」をしているのか、疑問に思われるかもしれません。

スライス上で「範囲range」を指定すると、ループの現在のインデックス(この場合はi)とそのインデックスにある要素の_copy_が返されます。コピーのWins値を変更しても、繰り返し処理するleagueスライスには影響しません。そのため、league[i]を実行して実際の値への参照を取得し、代わりにその値を変更する必要があります。

テストを実行すると、テストは成功するはずです。

リファクタリング♪

GetPlayerScoreRecordWinでは、名前でプレーヤーを見つけるために[] Playerを繰り返し処理しています。

FileSystemStoreの内部でこの共通コードをリファクタリングすることもできますが、私には、これが新しいタイプに引き上げることができるおそらく有用なコードであると感じています。これまで「リーグ"League"」での作業は常に[]Playerで行っていましたが、Leagueという新しいタイプを作成できます。これは、他の開発者が理解しやすくなり、そのタイプに便利なメソッドをアタッチして使用できるようになります。

league.go内に以下を追加します

誰かがLeagueを持っている場合、彼らは与えられたプレイヤーを簡単に見つけることができます。

PlayerStoreインターフェイスを変更して、[]PlayerではなくLeagueを返すようにします。テストを再実行してみてください。インターフェイスを変更したためコンパイルの問題が発生しますが、修正は非常に簡単です。戻り値の型を []PlayerからLeagueに変更するだけです。

これにより、file_system_storeのメソッドを簡略化できます。

これはかなり見栄えがよく、Leagueの他の便利な機能をリファクタリングできる方法を見つけることができます。

新しいプレーヤーの勝利を記録するシナリオを処理する必要があります。

最初にテストを書く

テストを実行してみます

成功させるのに十分なコードを書く

プレーヤーが見つからなかったためにFindnilを返すシナリオを処理する必要があるだけです。

ハッピーパスは問題なく見えたので、統合テストで新しいStoreを使用してみることができます。これにより、ソフトウェアが動作するという確信が高まり、冗長なInMemoryPlayerStoreを削除できます。

TestRecordingWinsAndRetrievingThemで古いストアを置き換えます。

テストを実行すると、テストに成功し、InMemoryPlayerStoreを削除できます。 main.goにコンパイルの問題が発生し、「実際の」コードで新しいストアを使用するようになります。

  • データベース用のファイルを作成します。

  • os.OpenFileの2番目の引数では、ファイルを開くための権限を定義できます。この場合、O_RDWRは読み取りと書き込みを行うことを意味し、os.O_CREATEはファイルが存在しない場合にファイルを作成することを意味します。

  • 3番目の引数は、ファイルのアクセス権を設定することを意味します。この場合、すべてのユーザーがファイルの読み取りと書き込みを行うことができます。(詳細な説明はsuperuser.comを参照).

プログラムを実行すると、再起動の間にデータがファイルに永続化されるようになりました。

より多くのリファクタリングとパフォーマンスの懸念

誰かがGetLeague()またはGetPlayerScore()を呼び出すたびに、ファイル全体を読み取ってJSONに解析します。FileSystemStoreはリーグの状態に完全に責任があるため、これを行う必要はありません。プログラムの起動時にファイルを読み取るだけで、データが変更されたときにファイルを更新するだけです。

この初期化の一部を実行できるコンストラクターを作成し、代わりに読み取りで使用するためにリーグをFileSystemStoreの値として保存できます。

この方法では、ディスクから一度だけ読み取る必要があります。ディスクからリーグを取得するための以前の呼び出しをすべて置き換えて、代わりにf.leagueを使用できます。

テストを実行しようとすると、FileSystemPlayerStoreの初期化について不平を言うので、新しいコンストラクターを呼び出して修正するだけです。

別の問題

非常に厄介なバグを発生させる可能性があるファイルを処理する方法には、いくつかの単純な点があります。

RecordWinを実行すると、ファイルの先頭にSeekして新しいデータを書き込みますが、新しいデータが以前のデータよりも小さい場合はどうなるでしょうか。

私たちの現在のケースでは、これは不可能です。スコアを編集または削除することはないため、データが大きくなるだけです。ただし、コードをこのようにしておくのは無責任です。削除シナリオが発生することは考えられないことではありません。

しかし、これをどのようにテストしますか?最初にコードをリファクタリングする必要があるので、書き込むデータの種類の懸念を書き込みから分離します。次に、それを個別にテストして、期待どおりに動作することを確認できます。

新しいタイプを作成して、「最初から書き始める」機能をカプセル化します。これを「テープTape」と呼びます。以下を使用して新しいファイルを作成します。

ここでは、Seek部分をカプセル化しているため、ここではWriteのみを実装していることに注意してください。つまり、FileSystemStoreは、代わりにWriterへの参照のみを持つことができます。

Tapeを使用するようにコンストラクタを更新します

最後に、RecordWinからSeek呼び出しを削除することで、私たちが望んでいた驚くべき見返りを得ることができます。はい、あまり感じませんが、少なくとも他の種類の書き込みを行う場合、Writeを使用して必要な動作を実行できることを意味します。さらに、潜在的に問題のあるコードを個別にテストして修正できるようになります。

ファイルの内容全体を元の内容よりも小さいもので更新するテストを書いてみましょう。

最初にテストを書く

テストでは、コンテンツを含むファイルを作成し、tapeを使用してファイルに書き込み、もう一度読み取って、ファイルの内容を確認します。

tape_test.go

テストを実行してみます

思った通り!

必要なデータを書き込みますが、元のデータの残りを残します。

成功させるのに十分なコードを書く

os.Fileには、ファイルを効率的に空にできる切り捨て関数があります。これを呼び出して、必要なものを取得できます。

tapeを次のように変更します。

コンパイラーは、io.ReadWriteSeekerを想定している多くの場所で失敗しますが、*os.Fileで送信しています。これらの問題は自分で修正できるはずですが、行き詰まった場合はソースコードを確認してください。

それを取得したら、TestTape_Writeテストはパスするはずです!

もう1つの小さなリファクタリング

RecordWinには、json.NewEncoder(f.database).Encode(f.league)という行があります。

書き込むたびに新しいエンコーダを作成する必要はありません。コンストラクタでエンコーダを初期化して、代わりに使用できます。

タイプに「エンコーダーEncoder」への参照を保存し、コンストラクターで初期化します。

RecordWinで使用します。

ルールを破っただけではありませんか?プライベートなものをテストしていますか?インターフェイスはありませんか?

プライベート型のテストについて

一般的にプライベートなものをテストしないほうがよい場合があります。テストが実装に密に結合しすぎて、将来のリファクタリングを妨げる可能性があるためです。

ただし、テストによって 確信 が得られることを忘れてはなりません。

なんらかの編集または削除機能を追加した場合、実装が機能するかどうか確信が持てませんでした。特に、最初のアプローチの欠点を認識していない複数の人が作業している場合は、コードをそのままにしたくありませんでした。

最後に、これは1つのテストにすぎません。動作方法を変更することを決定した場合、テストを削除するだけで障害になることはありませんが、少なくとも将来のメンテナの要件を把握しています。

インターフェース

新しいPlayerStoreを単体テストするための最も簡単な方法であったため、io.Readerを使用してコードを開始しました。コードを開発したとき、io.ReadWriterに移動し、次にio.ReadWriteSeekerに移動しました。次に、標準ライブラリには、*os.File以外に実際にそれを実装したものは何もないことがわかりました。独自に作成するか、オープンソースを使用するかを決定することもできましたが、テスト用の一時ファイルを作成するだけで実用的でした。

最後に、*os.FileにもあるTruncateが必要でした。これらの要件を取り込んだ独自のインターフェースを作成することはオプションでした。

しかし、これは本当に私たちに何を与えているのでしょうか?私たちは_モックではない_ことを覚えておいてください。ファイルシステムストアが *os.File以外のタイプを取ることは非現実的であるため、インターフェイスが提供するポリモーフィズムは必要ありません。

ここにあるように、タイプを切り刻んで変更し、実験することを恐れないでください。静的に型付けされた言語を使用することの素晴らしい点は、コンパイラーがすべての変更を支援することです。

エラー処理

並べ替えに取り掛かる前に、現在のコードに満足していることを確認し、技術的な負債をすべて取り除く必要があります。ソフトウェアをできるだけ早く(赤の状態から抜け出す)ことは重要な原則ですが、それはエラーのケースを無視する必要があるという意味ではありません。

FileSystemStore.goに戻ると、コンストラクターにleague, _ := NewLeague(f.database)があります。

私たちが提供するio.Readerからリーグを解析できない場合、NewLeagueはエラーを返す可能性があります。

すでに失敗したテストがあったため、その時点でそれを無視するのは実用的でした。同時にそれに取り組んだとしたら、2つのことを同時に処理していたことになります。

コンストラクタがエラーを返すことができるようにしましょう。

(テストと同じように)役立つエラーメッセージを表示することが非常に重要であることを忘れないでください。インターネットの人々は冗談めかして、ほとんどのGoコードは次のとおりだと言っています

それは100%慣用的ではありません エラーメッセージにコンテキスト情報(つまり、エラーを発生させるために実行していたこと)を追加すると、ソフトウェアの操作がはるかに簡単になります。

コンパイルしようとすると、いくつかのエラーが発生します。

メインでは、プログラムを終了してエラーを出力します。

テストでは、エラーがないことを確認する必要があります。これを手伝ってくれるヘルパーを作ることができます。

このヘルパーを使用して、他のコンパイル問題を処理します。 最後に、失敗するテストがあるはずです。

ファイルが空であるため、リーグを解析できません。以前は常にエラーを無視していたため、以前はエラーが発生していませんでした。

有効なJSONをいくつか入れて、大きな統合テストを修正しましょう。

すべてのテストに合格したので、ファイルが空であるシナリオを処理する必要があります。

最初にテストを書く

テストを実行してみます

成功させるのに十分なコードを書く

コンストラクタを次のように変更します。

file.Statはファイルの統計を返し、ファイルのサイズを確認できます。空の場合は、空のJSON配列をWriteSeekを最初に戻して、残りのコードの準備をします。

リファクタリング♪

コンストラクターは少し面倒なので、初期化コードを関数に抽出してみましょう。

並べ替え

私たちの製品所有者は、/leagueがプレーヤーをスコアの高い順に並べ替えることを望んでいます。

ここでの主な決定は、ソフトウェアでこれが発生する場所です。「実際の」データベースを使用している場合は、「ORDER BY」のようなものを使用するので、ソートは超高速です。そのため、PlayerStoreの実装に責任があるように思えます。

最初にテストを書く

TestFileSystemStoreの最初のテストでアサーションを更新できます。

入ってくるJSONの順序が間違っており、wantが正しい順序で呼び出し元に返されることを確認します。

テストを実行してみます

成功させるのに十分なコードを書く

sort.Slice

Sliceは、提供されたless関数を指定して、提供されたスライスをソートします。

かんたん!

まとめ

学んだこと

  • Seekerインターフェースと、ReaderおよびWriterとの関係。

  • ファイルの操作。

  • すべての面倒なものを隠すファイルでテストするための使いやすいヘルパーを作成します。

  • スライスをソートするためのsort.Slice

  • コンパイラを使用して、アプリケーションの構造を安全に変更できるようにします。

ルール違反

  • ソフトウェアエンジニアリングのほとんどのルールは実際にはルールではなく、80%の時間で機能するベストプラクティスにすぎません。

  • 内部関数をテストしないという以前の「ルール」の1つが役に立たないというシナリオを発見したため、ルールを破りました。

  • ルールを破るときは、自分のトレードオフを理解することが重要です。私たちの場合、それは1つのテストにすぎず、それ以外の場合はシナリオを実行することが非常に困難であったため、問題はありませんでした。

  • ルールを破ることができるようにするには、最初にそれらを理解する必要があります。例えはギターを学ぶことです。自分がどれほどクリエイティブであるかは関係ありません。基本を理解し、実践する必要があります。

ソフトウェアのある場所

  • プレーヤーを作成してスコアを増やすことができるHTTP APIがあります。

  • 全員のスコアのリーグをJSONとして返すことができます。

  • データはJSONファイルとして永続化されます。

最終更新

役に立ちましたか?