CircleCIで使用しているDocker imageのバージョンを上げたら、default-mysql-client をインストールする箇所でエラーになりました。
最初色々とネットの記事を見ながら、何度か試行錯誤しつつ悩んでいましたが、CircleCI で提供されている Docker Image をローカルにpullして、実際に動かしている CircleCI の設定と照らし合わせながら手作業でデバッグ・実行してみることで問題はすぐに解決しました。
ちなみに私がぶち当たった問題の対応としては、default-mysql-clientのインストールコマンドを実行する前にsudo apt-get updateを行えばよいだけでした。
CircleCIが提供しているDocker Image
下記のリンク先で確認できます。
https://hub.docker.com/u/circleci
例えば下記のような形で試せます。
(下の例ではnodeのDocker imageをpullしています)
docker pull circleci/node:{試したいversion}
docker run -t -i {pullしてきたIMAGE ID} /bin/bash
あとはdockerコンテナの中で実際にコマンドを叩きながら、試していけばOK